À l'est de la ville, le château comtal d'Étaples était situé sur un éperon calcaire, à huit mètres du niveau de la Canche et à environ deux kilomètres de son embouchure. Isolé par le creusement d'un puissant et large fossé, il se dressait à l'emplacement du cimetière actuel, route d'Hilbert. Il fortifiait la marge sud du comté de Boulogne et permettait la surveillance du gué qui traversait la Canche à proximité de son emplacement (BYHET, 2018). C'est entre ses murailles qu'en 1492 aurait été signé - selon l'érudit local du XIXe siècle Gustave Souquet - le traité d'Étaples entre Henry VII, roi d'Angleterre, et Charles VIII, roi de France mais les preuves manquent. De ce château ne subsistent plus aujourd’hui que quelques vestiges désolés et dissimulés.

Les fouilles de 1847-1848 et 1864 permettent d'établir l'existence de vestiges gallo-romains à l'emplacement de la forteresse : un cimetière d'une trentaine de tombes (seconde moitié du IVe siècle) et des restes de construction qu'il est tentant d'attribuer à un fortin de défense côtière des IVe et Ve siècles, le "locus Quartensis" cité dans le Notitia dignitatum. Les érudits locaux du XIXe siècle, le Dunkerquois Louis Cousin et l'Étaplois Gustave Souquet surtout, appuient l'hypothèse d'un fortin carolingien prenant la suite du fortin romain ; une hypothèse qui ne tient pas, reposant seulement sur l'identification erronée du port d'Étaples avec celui de Quentovic, important port de commerce du Haut Moyen Âge et sur une extrapolation d'un passage de la Vie de Charlemagne d'Eginhard qui nous apprend le placement de garnisons dans chaque port de l'Empire et à chaque embouchure de fleuve. Or, la mention la plus ancienne du port d'Étaples date de 852 (BYHET, 2018).

La construction de la forteresse médiévale est entreprise en 1172 par Mathieu d'Alsace, comte de Boulogne, sur un terrain concédé par l'abbaye bénédictine de Saint-Josse (désigné sous le nom de "Champ de Saint-Josse") (HAIGNERÉ, 1882). Il s'agit d'une architecture philippienne, à savoir un donjon séparé d'une enceinte flanquée de tours et d'un châtelet d'entrée à deux tours qui est aussi celle du château de Boulogne (1227-1231) ou encore d'Hardelot (1222). L'ensemble forme un polygone d'une superficie d'un demi-hectare, puissamment fortifié au nord et à l'est (du côté de la campagne) ainsi qu'au sud (le long de la Canche). Le donjon, de plan barlong, s'élève du côté de la courtine occidentale. L’accès au château se fait depuis la ville, à l’ouest : l’entrée, une sorte de châtelet à deux tours, est protégée par un pont-levis qui donne sur un pont dormant en bois (BYHET, 2018).

Au cours des décennies suivent sa fondation, la forteresse fait plusieurs fois l’objet de réparations. C’est le cas notamment au XVe siècle, sous la domination bourguignonne. Peu après la cession du comté de Boulogne au roi de France Louis XI (1477), un calme relatif s’y installe jusqu'en 1544, quand Boulogne tombe aux mains des Anglais après un siège de soixante jours. François Ier comprend alors l’intérêt stratégique que forme un peu plus au sud la ville d'Étaples, devenue de fait l’une des villes-frontières du royaume (fig. 11). Il ordonne dès 1545 l'adaptation du château face aux nouvelles techniques de l’artillerie. Il y a des travaux avérés et des travaux moins établis dans leur chronologie. Les travaux avérés concernent les dehors de la forteresse : un ouvrage à cornes à l'ouest du château, entre les fossés et la ville ; un ouvrage tenaillé, c'est à dire un imposant ouvrage de terre cernant les flancs nord et est du château. Ces ouvrages avancés sont aujourd’hui les deux seuls éléments subsistants du château d’Étaples. L'ouvrage à corne subsiste encore en partie dans le cimetière communal (parcelle AD26) sous la forme d'une butte conservée sur une hauteur de huit à dix mètres. Vers 1805, le lieu est en effet transformé en cimetière : "À l'époque de la grande armée, [le] cimetière [de l’église Saint-Michel] devint insuffisant. Aussi, d'après l'ordre du maréchal Ney, commandant en chef de l'aile gauche de l'armée qui devait s'embarquer dans le premier corps de la flottille amarrée au port d'Étaples, le conseil municipal, sur l'avis du médecin en chef du 7 mai 1805, supprima les sépultures et décida que les inhumations auraient lieu sur l'emplacement du vieux château (Registre aux délibérations, 3 mai 1806)" (SOUQUET, 1856). Quant à l'ouvrage tenaillé, des vestiges demeurent visibles dans une prairie située au nord du cimetière (parcelle AW 8). Les travaux moins établis dans leur chronologie sont ceux effectués à l'intérieur des courtines médiévales : destruction hypothétique du donjon et aménagement du logis du gouverneur, de casernes et d’un grenier à grains (BYHET, 2018). D'importants travaux de restauration sont ensuite réalisés en 1584 puis entre 1591 et 1593 (auxquels s'ajoute l'aménagement d'un moineau au sud du château, du côté de la Canche), enfin en 1597.

Dès le début du XVIIe siècle, à partir du règne de Louis XIII, il n'est désormais plus regardé comme un élément de défense du territoire et il est envisagé de le raser. Ses matériaux sont recyclés pour construire la digue de la rive droite de la Canche. Ce qu'il reste du château est finalement cédé en 1734 à Jean-Jacques du Tertre, capitaine de cavalerie invalide (BYHET, 2018). À la Révolution, les derniers vestiges sont vendus comme bien national en 1793 aux frères Antoine et Daniel Duriez dits Laforêt qui s'en servent comme matériaux de construction. Vers 1805, une partie du château (l’ouvrage à cornes) est transformée en cimetière. L’autre partie abandonnée, la haute-cour, est acquise vers 1845 par la Compagnie des Chemins de Fer du Nord et disparaît définitivement du paysage dans le contexte de la construction des lignes de chemin de fer Amiens - Boulogne (ouverte en 1848) et Saint-Pol - Étaples (ouverte en 1875). En effet, la Compagnie des Chemins de Fer du Nord prélève dans les ruines l'ensemble des remblais nécessaires à la réalisation des voies. Deux campagnes d'arasement ont lieu, la première en 1847-1848, la seconde en 1864 (BYHET, 2018), année d'exécution du dessin de Victor-Jules Vaillant (1824-1904) (voir ill.).