Un château a pu exister dès le Moyen Âge. Manassès de Bulles est connu comme seigneur de Blancfossé dans le dernier quart du 12e siècle. Son grand-père, Evrard, est comte de Breteuil. Possession de la famille des seigneurs de Breteuil, Blancfossé a pu dès cette époque être le centre d'un domaine et d'un château seigneurial.

Un plan terrier de la terre et seigneurie de Blancfossé, daté du 18e siècle, figure clairement ce qu'a pu être le château, juste à l'ouest de la ferme actuelle, dans la partie inoccupée de la parcelle. Les vestiges d'un ancien portail en pierre sont encore visibles au sud du logis de la ferme actuelle. Du 18e siècle, il reste encore aujourd'hui la longère en pierre portant la date de 1766 sur une poutre à l'intérieur. Constituant le logis de la ferme, la partie occidentale de l'édifice comprenait une écurie et les logements des domestiques et charretiers. Deux autres parties de la ferme encore en place peuvent être rattachées au 18e siècle : la grange en pierre au nord de la parcelle dont il reste une partie des maçonneries, ainsi que le soubassement du colombier.

Le 19e siècle est toutefois la période la plus représentée dans les parties de la ferme qui sont aujourd'hui conservées. L'un des piliers du portail porte la date de 1822. C'est donc dans le premier tiers du 19e siècle qu'il semble pertinent de rattacher l'extension du logis en brique ainsi que la réfection de la longère côté nord. La bergerie et la grange en brique peuvent également relever de cette période. Lors de cette importante campagne, le colombier est remonté en grande partie. Des étables qui se trouvaient à l'ouest de la parcelles sont certainement aménagées au cours du 19e siècle (elles ne sont pas visibles sur le plan terrier du 18e siècle).

D'après des témoignages locaux, le château a servi d'écuries à chevaux au cours de la guerre 1914-1918. Il tombe définitivement en ruines dans les années 1920-1930. Il n'en reste aujourd'hui que de rares vestiges d'élévation en brique. Les bâtiments de la ferme connaissent des transformations à la limite des 20e et 21e siècles en lien avec la mise aux normes de l'exploitation agricole. Les étables sont réaménagées puis de nouvelles stabulations sont construites au nord de la ferme.