La seigneurie de Fresnes est la propriété des ducs de Chaulnes jusqu'en 1785, date à laquelle elle est achetée de Claude-Barthélémy le Vaillant de Brusle (1759-1828), qui y fait construire une demeure de plaisance. Un logis de plan rectangulaire apparait à son emplacement sur le cadastre napoléonien de 1811. Cette demeure, reconstruite au 19e siècle et décorée de boiseries d'époque Louis XIV et Louis XV provenant du château de Sailly-Saillisel, ainsi que la parc paysager aménagé à la fin du 19e siècle, sont détruits durant la première guerre mondiale.

En 1917, Louis Tenaille d'Estais hérite de la propriété. Le dossier de dommages de guerre, par l'architecte parisien Ernest Bertrand, restitue l'état du domaine antérieur aux destructions de la guerre : le château, un grand parc, deux fermes à droite et à gauche de l'entrée, un bâtiment nommé bûcher Sainte-Geneviève, réserve et kiosque. Les plans et coupes montrent qu'il s'agit d'une construction du 19e siècle, comme les cartes postales du début du 20e siècle.

Louis Tenaille d'Estais fait reconstruire une maison de plaisance à l'emplacement de l'ancien château, demeure vraisemblablement achevée en 1926, date à laquelle il se signale dans l'annuaire des châteaux et des départements. Elle est peut-être l'œuvre d'Ernest Bertrand.

L'annuaire des châteaux et des départements signale les de Brusles de 1897 à 1905, puis Louis Tenaille d'Estais et sa femme (née Charvet) de 1926 à 1935.