Son histoire est étroitement liée à celle de Noyelles. D'après Belleval, il s´agissait d´une forteresse très importante dont l'existence remonterait au Haut Moyen Age. Le château s´ouvrait sur la plaine car de l´autre côté était la mer. Les douves étaient d´ailleurs inondées par les eaux. Rodière indique que le château possédait une grande chapelle dédiée à saint Pierre. Elle était sous la direction du doyen et des chanoines de Noyelles que leur donna le comte Guillaume, leur fondateur en 1217. Le château était le siège de l'une des pairies du comté de Ponthieu. Il échut ensuite à Blanche de Ponthieu en 1340. Edouard III, qui y logea en 1346, s´y fit arrêter. Pour se venger, il fit brûler toutes les maisons de Noyelles excepté le château, alors occupé par Catherine de Ponthieu. En 1357, la comtesse d'Aumale y accueillit le roi de Navarre et en 1360, le roi d'Angleterre s'en empara. Le gouverneur y était Richard de Cobham : les Français le lui reprirent le 20 avril 1369. Après la bataille d'Azincourt (25 octobre 1415), l´édifice revint aux Anglais, qui le prirent d'assaut à Jacques d'Harcourt, son possesseur, et y mirent leur garnison en 1423. Pendant la Ligue, le château fut enlevé au duc de Longueville, royaliste. Les Ligueurs le donnèrent à Monsieur de Rambures, un de leur partisan le plus actif en Ponthieu. Le duc de Parme, après avoir été contraint de lever le siège de Rue, se dirigeant alors vers Rouen pour rejoindre les troupes chargées de dégager la ville assiégée par Henri IV, logea son armée sur les bords de la Somme et fit rebâtir le château de Noyelles au 16e siècle pour s'assurer du gué de Blanquetaque. En 1773, les terres étaient à vendre, prouvant ainsi que l´édifice était déjà délabré. Une maison couverte en chaume y avait été construite. Les ruines, encore identifiables au début du 20e siècle, ont presque entièrement disparu aujourd´hui. D´après le comte de Valicourt, une maison, désormais détruite, aux murs en silex taillé et chaînages de briques, avait été aménagée sur le versant extérieur du fossé du château, probablement postérieur au 16e siècle, époque de l´abandon et de la dégradation rapide du château. Le pont-levis semble avoir été situé au coeur d´un jardin situé ruelle Ladera.
Il est difficile de retrouver les traces de ce château dont les rares vestiges encore visibles se trouvent sur une propriété privée. Situé à l'extrémité orientale du village (vers d'Abbeville), la forteresse n´offre aujourd´hui au visiteur que des substructions peu perceptibles. Les fossés, encore visibles, en marquent toujours le périmètre. On y accède par les terre-pleins de l'ancien pont-levis (sous lequel sont encore quelques débris de murs en cailloux). En effet, d´après un habitant, les douves de l´ancien château sont situées au niveau de la ruelle Ladera, indiquant la largeur de celle-ci. En partie remblayées, elles donnent sur la rue du Général Leclerc. Dans un jardin, situé ruelle Ladera, les vestiges d´une tour entièrement en silex ainsi que des enceintes en craie du pays sont visibles.
