Le recensement de 1851 indique que Jean-Pierre Hecquet d'Orval, alors âgé de 68 ans, habite une demeure au lieu-dit Les Chantiers, qui correspond à l'emplacement de cette demeure. Un logement secondaire est affecté à son garde des bois. Le site est représenté sur le plan par masse de culture de 1802 et sur le cadastre napoléonien. Le Chantier de Port est également signalé sur la carte de Cassini.

La communication faite par Pierre-Emile Hecquet d'Orval sur les fouilles réalisées à Port-le-Grand fait état de la date de construction de la demeure à l'initiative de son père Jean-Pierre Hecquet d'Orval, en 1830, puis de la plantation du parc à partir de 1833.

Les recensements de 1836 et de 1851 indiquent qu'il y habite avec sa famille, trois domestiques et un garde des bois. En 1872, la demeure est habitée par un concierge et sa famille. En 1881, Pierre-Emile Hecquet d'Orval s'y est retiré avec sa femme, ses domestiques (cocher et cuisinière) et celle de son jardinier, qui dispose d'un logement indépendant.

En 1897, la demeure devient Les Tilleuls, signalée dans l'annuaire des châteaux et des départements, jusqu'en 1909 comme propriété d'Emile Hecquet d'Orval. En 1906, elle est habitée par deux ménages, ceux de Charles Lecat, garde particulier, et d'un ouvrier agricole de Fernand Hecquet d'Orval, propriétaire du château du Bois de Bonnance.

En 1911, la demeure est habitée par un médecin.

Le service Régional de l´Archéologie indique la présence d´une nécropole du Second Age du Fer, d´habitat et d´architecture religieuse gallo-romains. Les fouilles d'Hecquet d'Orval à partir de 1829 ont permis la mise au jour d'un important mobilier archéologique (48 vases en terre cuite contenant des ossements de petits quadrupèdes, des ossements humains calcinés et quelques débris de fer y ont été découverts).

Au 18e siècle, le site a une vocation de chantier. Trois plots en craie qui, d'après le propriétaire, sont les anciennes bites d'amarrage ou calles sèches du port. Ces éléments dateraient de l'époque gallo-romaine. Il s'agissait ici d'un chantier naval lorsque la mer baignait le bas de Port-le-Grand. Le bois débité dans les forêts de Cantatre, dans le bois des Chartreux et ceux de la Réserve était apporté ici afin d´être livré par voie d'eau vers Abbeville ou Saint-Valery.

La demeure passe pour être élevée à l'emplacement d'une abbaye de Bénédictines, élevée vers 650 près du rivage de la Somme. Ce monastère, dans lequel séjourna sainte Austreberthe. Pillé et incendié au 9e siècle par les Normands, il ne fut pas relevé mais transféré à Montreuil au 11e siècle.

Le monastère avait été construit sur des fondations en pierre de taille et grés, provenant de carrières étrangères au pays. Ces substructions semblent avoir antérieurement fait partie d'un édifice important, probablement du 3e ou 4e siècle (selon Hecquet d´Orval, datation par la soudure des pièces reliées entre elles par de fortes agrafes de fer scellées de plomb).

Le lieu accueillit ensuite un entrepôt dans lequel, jusqu´en 1833, était déposé le bois venu des forêts de Crécy, de Cantatre et de Guelde. Le matériau transporté par bateaux jusqu'à Abbeville ou dans le Vimeu. D'après une habitante, les habitants du château venaient en villégiature aux Tilleuls en traversant le bois par l'allée de Saint-Valery. Les tilleuls seraient de la même époque que la construction de la maison. Une inscription, portant une date, serait présente dans la cave : nous n'y avons malheureusement pas eu accès.