D'après Ponthieux (1906), Estay est donné en 1155 à l'abbaye de Longpont. Des traces d'occupation romaine y ont été découvertes en 1830. Le fief était du ressort du bailliage de Chauny. Il était composé au début du 17e siècle, d'une cense et de deux maisons, sur le bord de l'Oise. En 1609, Estay appartient à Joram de Vrévin, conseiller du Roi, lieutenant général civil et criminel au bailliage et prévosté de Chauny, puis à la famille Méniolle d'Armancourt, au 18e siècle. M. Paffe épouse la fille d´Anne-Claire Victoire Méniolle d'Epinoy. Les sources conservées aux archives départementales (séries M et S) attestent l'installation d'une sucrerie de betteraves, créée en 1829, dans les dépendances du château, à l'initiative de Charles Paffe et de Casimir Bove. La fabrique, qui emploie 90 ouvriers saisonniers en 1851, semble avoir cessé sa production vers 1893. La sucrerie est équipée d'une chaudière à vapeur dès l'origine. En 1850, elle est équipée de 7 fourneaux, 2 fours, 1 forge, 11 machines. En 1851, elle compte 8 chaudières et 600 formes et cristallisoirs. Le logis du château, qui a conservé des parties de la 2e moitié du 18e siècle (dates 1766 et 1782 dans le sous-sol du logis), date pour l'essentiel du milieu du 19e siècle. Le colombier et un côté de la basse-cour datent du 18e siècle ; les autres parties de la basse-cour sont soit du début du 19e siècle soit des années 1925, 1930.