En 1463, la famille de Rambures fait l'acquisition d'un manoir au hameau de Poireauville. Il s'agit de la partie la plus ancienne du château. Au cours du 17e siècle, la famille fait édifier dans le prolongement du manoir primitif, un bâtiment de style Louis XIII. À la fin du 19e siècle, le propriétaire, le Vicomte Louis de Rambures, conseiller général de la Somme, fait donner au château son aspect actuel avec notamment la construction d'un pavillon à l'extrémité est de l'ensemble. Dans l'alignement de la rue, les communs et le mur de clôture en briques sont construits, eux aussi, au cours du 17e siècle. Les façades et les toitures du manoir primitif font l'objet d'une inscription au titre des Monuments historiques par arrêté du 17 février 1979.

En 1641, Jephté de Rambures, seigneur de Poireauville, fait établir un temple protestant dans un moulin lui appartenant.

Le synode de 1653 désigne la paroisse protestante d'Oisemont à Saint-Valery sous le nom d'église " d’Oisemont, de Saint-Valery et de Poireauville". Vaudricourt devient un haut lieu du protestantisme dans le Vimeu. Celui-ci accueille alors les fidèles de Saint-Valery et de ses environs. En 1655, le synode ordonne au pasteur de cette paroisse d’y passer un tiers de son temps.

En 1664, l'évêché d'Amiens demande la destruction du temple de Poireauville, en application du traité de 1594 qui n'autorisait que l'érection de deux temples pour l’ensemble de la Picardie. Un arrêté du Conseil d'État, en 1665, interdit l'exercice de la religion réformée, mais permet toutefois à la famille de Rambures de la pratiquer dans sa demeure dans la limite de trente personnes. L'office se tient alors dans un moulin, jusqu’en 1672.

Un cimetière Huguenot est également mentionné par la société des Antiquaires de Picardie, il y accueillait les sépultures des Rambures Poireauville. D’après le registre des matrices cadastrales, celui-ci se situait à proximité du manoir au hameau de Poireauville.