Le château d'Yzengremer est situé au centre de la commune, au sud-ouest de la place publique et reste accessible depuis cette dernière par un chemin bordé d'arbres.

Le logis construit en briques avec un soubassement de silex et de pierres calcaires, présente un corps de bâtiment central muni d'un retour d'équerre au sud-ouest. il comporte un rez-de-chaussée, un étage et des combles aménagés. Trois tours carrés sont établies aux angles nord-ouest, nord-est et sud ouest. A l'étage de l'aile sud ouest, les deux piédroits qui ornent la fenêtre comportent des bossages. Ces derniers ne sont pas toujours réalisés en pierre mais en enduit de chaux.

La travée centrale de la façade antérieure et postérieure, édifiée au début du 20e siècle, est construite en pierres légèrement en saillie. Elles comportent de multiples décorations florales ainsi que des pinacles. Le fronton de la lucarne du premier étage accueille deux blasons représentant les armes de la famille De Fautereau. Les lucarnes des combles, à chapeau de gendarmes, ont également été aménagées au début du 20e siècle.

La cour comporte des communs au sud-ouest, édifiées en briques et à rez-de-chaussée. L'ensemble est complété par un colombier orthogonale, édifié en briques pour le soubassement et en torchis et pans de bois pour la partie supérieure. Il est coiffé d'un toit en ardoises. A proximité, l'emplacement de l'ancienne marre reste visible.

A l'intérieur, le rez-de-chaussée et l'étage semblent avoir conservé l'essentiel de leur distribution du 18e siècle, et les pièces, leurs proportions.