Le manoir, connu sous le nom de Petit Château pour le distinguer de la demeure des évêques, a longtemps été un des éléments majeurs du patrimoine architectural de Pernois. Demeure d'une importance certaine, elle formait alors probablement le chef-lieu d'un fief de village.

Comme le montre le cadastre de 1832 (parcelle B 471), la maison s'élevait sur la rue d'En-Bas, face à l'emplacement de l'actuelle mairie-école.

Les documents figurés du 19e siècle montrent un corps de logis en pan de bois et torchis, dont l'étage carré en encorbellement et les hauts pignons de pierre à redents portent la marque du 16e siècle.

Les murs gouttereaux étaient construits en pan de bois et torchis enduit. L'étage carré était en encorbellement sur consoles de bois. Les hauts murs-pignons en pierre de taille avec redents appareillés encadraient un haut toit de tuile plate à forte pente. Un portail latéral accédait à la cour, bordée d'un long bâtiment de communs et occupée en son centre par un abreuvoir et deux petits bâtiments, dont un colombier de plan carré.

Au 18e siècle, l'ensemble aurait appartenu à un certain Desjardins, procureur au bailliage d'Amiens, et sa veuve Marie-Marthe du Candas l'aurait mise en location en 1726 tout en se réservant deux pièces à son usage. Sur l'atlas terrier du dernier quart du 18e siècle, la propriété (parcelle n° 31) est formée d'une "masure amassée de batimens contenante trois journaux quatre vingt douze verges trois cinquièmes", soit environ 12 hectares. Mouvant en partie du domaine épiscopal, elle appartient alors à un certain monsieur de Romainville, probablement de la famille Le Camus, titulaire de la seigneurie de Romainville et possessionnée à Magny-les-Hameaux (actuel département des Yvelines). M. de Romainville possède alors à Pernois un domaine agricole estimé à 140 journaux et 1 295 verges (soit environ 213 hectares). Les terres sont essentiellement réparties sur le plateau au nord du village, mais également sur le plateau sud et dans le village, dont le Petit Château forme probablement le centre. La situation inhabituelle du logis en bordure de rue et non en fond de cour pourrait résulter du tracé ou du prolongement récent de la rue d'En-Bas, qui de fait présente sur l'atlas un décrochement devant l'édifice. La propriété, qui semble avoir conservé la même étendue, apparaît sur le plan cadastral de 1832 (sections B 471 à 474). Elle est formée d'une maison et de ses dépendances, de trois vergers et d'un jardin, et appartient alors à Marie-Madeleine Froidure et aux enfants Ranson. En 1838 (matrice des propriétés foncières), Jean-Baptiste Ranson fait construire une maison sur la parcelle B 470, qui appartient peu après (1839-1879) à Isidore Ranson. Le recensement de population de 1851 indique que la propriété est habitée par Jean-Baptiste Ranson, rentier, et son fils Hyacinthe, et par Isidore Ranson, agriculteur. Entre temps, l'ancien manoir et ses dépendances (B 471) deviennent une auberge qui porte alors l'enseigne : "Au petit château, on loge à pied et à cheval", bien que l'on n'en trouve aucune mention dans le recensement de population de 1872. Une partie des bâtiments est convertie en bâtiments ruraux en 1883 (Pierre Caron, propriétaire), puis une autre en 1888 (Eugène Charles, propriétaire). Ces déclassements successifs expliquent que la photographie de la fin du 19e ou du début du 20e siècle désigne l'ancien corps de logis sous le nom de grange.

Vétuste, l'ancien manoir a été détruit après la seconde guerre mondiale, et ses dépendances ont probablement été absorbées par la ferme voisine.