Sur le cadastre napoléonien de 1834, l'ancien château de Ville présente un bâtiment de plan allongé (simple en profondeur), une cour au nord et des jardins au sud. Des communs et un colombier de plan octogonal sont visibles au nord. Une petite terrasse et un petit escalier visible au centre du jardin, compensent le fort dénivelé du terrain. Le château dispose de trois accès, deux accès aboutissant à une avant-cour (l'un précédé d'une avenue depuis la route de grande communication, l'un contournant le bois, depuis la route d'Abbeville), et un depuis le village aboutissant à la cour, qui distribue les différents bâtiments. Les états de section conservés aux archives départementales indiquent que l'édifice appartient à Émile Racine. Il comprend, outre le château, un jardin (C 155), un verger (C 156) et une pépinière (C 154). Les matrices signalent une augmentation d'imposition du château en 1864, pour une extension achevée en 1861. En 1864, le château devient la propriété d'Omer Hippolyte Jérôme.

Les cartes postales du début du 20e siècle donnent une représentation de ce premier château. Le logis à étage carré et étage de comble, flanqué de deux ailes basses, présente une élévation sur le jardin à huit travées. Au centre, le léger avant-corps en briques couronné d'un fronton triangulaire, à deux travées de baies cintrées, donne accès à la terrasse. La façade comporte un enduit. On distingue trois refends internes. Les ailes basses à 3 travées comptent un étage de comble. Sur l'une des cartes postales, on découvre la grotte aménagée au bas du jardin, qui est représentée sur le cadastre de 1834.

D'après le Dictionnaire historique et archéologique de Picardie (1909), le château de Ville-Saint-Ouen aurait été bâti en 1755 pour le baron François Vincent de Tournon. Le bâtiment était composé d'un corps principal de huit travées, construit en brique et pierre, et dont les deux travées centrales réunies sous un fronton triangulaire formaient un léger avant-corps. Il était flanqué de deux ailes basses en pierre et couvertes de combles à la Mansart. En 1912, ce château est démoli et Robert Saint en rachète les vestiges l'année suivante. En raison des circonstances de la Première Guerre mondiale, il ne peut entamer sa reconstruction qu'à partir de 1918. Les travaux sont achevés en 1922. En février 1923, le syndicaliste Léon Baquet évoque d'ailleurs la construction de ce nouveau château de la famille Saint.