Le fief de la Rosière est cité au 13e siècle. Le château actuel est bâti pour Louis Gossuin, seigneur du Quesnoy, au début du 15e siècle. Resté dans la famille jusqu'en 1771, il est acquis par N.-J. du Buisson, ancien échevin de Douai. Le cadastre de 1830 montre le château et ses dépendances (notamment un grand bâtiment en équerre dans la basse-cour) et un système complexe de douves. Selon Duthilloeul (1844), C. J. Duthoit, gendre de du Buisson, propriétaire depuis 1810, fait remplacer les croisées ogivales par des fenêtres ordinaires de grand format. En 1885, le comte Henri Duthoit achète le domaine et lance d'importantes restaurations, d'inspiration néo-médiévale. En résumant La Grange et d'Herbommez (1889), l'accès se fait par une avenue d'une centaine de m. aboutissant à une sorte de tour carrée, reconstruite ; à droite, une courtine, au soubassement ancien et crénelée à une époque toute récente, est baignée par un fossé d'environ 4 m. de large. La porte franchie, on accède à la basse-cour, où se trouvaient encore récemment communs, logement, etc. ; un bâtiment neuf, à l'aspect de grange, sert de remises et d'écuries. Puis on franchit le 2e fossé par un pont, refait sur les bases d'un pont plus ancien, qui donne accès à la cour en franchissant un fossé d'environ 4 m. de large ; on y trouve un logis du 18e siècle (remanié au cours du 20e siècle). On franchit enfin les douves entourant le château par un pont levis. Le logis n'est pas décoré. Dans le vestibule, à gauche, un petit escalier pris dans l'épaisseur du mur mène à l'étage de soubassement, occupé par deux grandes pièces voûtées en berceau. Les pièces ménagées dans les tourelles sont couvertes de coupoles. Au 1er étage [rez-de-chaussée], la grande salle de belles dimensions ouvre sur quatre petites pièces rondes ménagées dans les tourelles. Un escalier en vis, à droite de la porte d'entrée, dans le vestibule, mène aux étages ; le 1er est destiné aux chambres d'habitation et à une prison, située au-dessus du vestibule ; le 2e est occupé par une vaste salle, sans doute primitivement destinée aux défenseurs ; au-dessus se trouve la charpente, dénaturée ; les tourelles sont couvertes de toitures en poivrière ; l'ensemble est couvert en ardoise. Les travaux entrepris pour M. Duthoit entre 1885 et 1889 concernent essentiellement le remplacement des baies dues à C. J. Duthoit par des baies à meneaux et traverses, celui du linteau de la porte d'entrée, la reconstruction du porche-pigeonnier, du bâtiment de remises et écuries, d'un logement dans la basse-cour et le parapet du 2e pont. L. Lefèvre (1914) rapporte que le château est à nouveau dans l'état déplorable dans lequel l'avait trouvé H. Duthoit, qui l'avait vendu à son gendre M. Portier, qui l'a négligé : le château, les remises, les écuries et le mobilier sont à l'abandon, les plus belles pièces de celui-ci ayant été vendues. Le château, incendié accidentellement en 1919, perd ses planchers, charpentes et toitures, qui n'ont pas été reconstitués depuis.