C'est dans le courant du XVIe siècle que sont édifiées l'aile de la rue de la Bibliothèque puis celle de la rue de la Cavalerie poursuivant le corps de bâtiment médiéval du château. Dans les années 1640, le couple Jeanne de Lallaing - Jean de Croÿ fait modifier l'aile de la rue de la Cavalerie. Les plafonds conservés dans la première partie de l'aile (actuels n° 35 et 37 de la rue de la Cavalerie) attestent une datation de la 2e moitié du XVIIe siècle, et un grand escalier (dit "escalier de Louis XIV" en souvenir du séjour du roi en 1691) y est construit à la fin du siècle. Ces aménagements confirment la vocation résidentielle de cette aile aux XVIIe et XVIIIe siècles.

Donnée en location par la ville qui en est devenue propriétaire en 1883, les deux ailes, rue de la Bibliothèque et rue de la Cavalerie, font l'objet de travaux d'appropriation dirigés par l'architecte Edmond Lemaire. En 1911-12, celui-ci procéde à une division de la première partie de l'aile rue de la Cavalerie pour y aménager deux logements de rapport, correspondant aux n° 35 et 37 qui font suite au corps de logis médiéval. C'est lors de cette campagne de travaux que les plafonds de l'ancien appartement princier sont recoupés et mutilés par un cloisonnement qui fait fi de leur continuité originelle.

Toujours à usage d'habitation, ces logements ont été vendus en 1988 à l'office des HLM de Valenciennes (actuellement Val Hainaut Habitat).