La fondation de la ville sur son site actuel remonte à 1163. Un talus, sommé d'une palissade et de portes maçonnées, constitue peut-être la première enceinte de la ville. Aucun vestige ne subsiste aujourd'hui de cette fortification primitive. L'analyse archéologique de l'enceinte maçonnée actuelle atteste toutefois d'une origine médiévale datant de la fin du 12e siècle ou du début du 13e siècle, encore identifiable sur certaines tours (Tour de la courtine sud, Tour des Fermes, Tour des braves). La fortification, constituée de 22 tours et de 3 portes, a en effet subi de constantes transformations jusqu'au 17e siècle. En 1347, on sait que Thomas VI y travaille. Après la ruine de la ville en 1552, de très grosses réparations sont effectuées et les portes murées pendant les guerres sont restaurées et rendues à la circulation. Entre 1615 et 1620, les parapets en grès sont démolis pour servir au pavage des rues et reconstruits aussitôt en brique. En 1651, un cavalier situé au nord des fortifications est construit pour garantir l'enceinte. En 1666, un nouvel arasement est effectué pour paver la ville. A la fin du 17e siècle, l'entretien de murailles désormais particulièrement vulnérables à l'attaque de l'artillerie moderne, ne constitue plus une priorité. En 1712, après la prise de Vervins par Growenstein, les remparts présentent 5 à 6 brèches, les parapets n'existent plus à certains endroits et les fossés face aux portes sont comblés. Vers 1738, Charles de Bonnevie entreprend d'araser les hautes murailles côté nord et démolit 2 tours pour dégager la vue depuis le Château-neuf. En 1741, l'effondrement d'une portion des remparts au nord-est, encourage le maire à démolir les murs en ruine situés derrière l'église. En 1767, l'enceinte est profondément entamée avec la création de la Chaussée royale de Paris à Mons. La création de 2 remblais entraîne notamment la démolition de la Porte des champs au nord, une tour et un corps de garde au sud. La Porte à l'Image à l'est, démolie partiellement en 1750, l'est en totalité en 1781. De cette porte, seule la statue de la Vierge qui l'ornait, nous est parvenue. En 1828 la construction de la prison entraîne la démolition de 3 tours et des murs de fortification situés derrière le Vieux-château. En 1830, une 4e tour située à proximité de la nouvelle prison est à son tour démolie. La Porte de Marle au sud, ruinée en 1802 est totalement englobée dans la muraille entre 1840 et 1842. En 1853, elle est transformée avec l'ancienne tour des fermes contiguë en une demeure néo-Renaissance et néo-gothique. En 1841, la création de la route d'Hirson et de la place du Palais entraîne un nouveau percement des remparts. Depuis cette date la fortification ne conserve plus que 10 tours.