La fondation du couvent a été autorisée par une bulle papale de 1489. En 1496, l'évêque de Soissons dédicaçait la chapelle. Les bâtiments conventuels furent sans doute reconstruits dans la 1ère moitié du 17e siècle, quand le comte de Saint-Pol fit de grandes largesses au couvent. Sous la Révolution, le couvent devint le siège de l'administration du district et la chapelle fut détruite peu après. Le collège municipal est installé dans les murs en 1803. Vers 1840, l'aile sud-est prolongée jusqu'à la rue (emplacement de l'ancienne chapelle). D'importants travaux furent effectués dans les années 1870 : construction de l'aile nord par Morsaline, architecte de la ville. Le collège fut transféré en 1906. Seul subsiste aujourd'hui de l'ancien couvent le corps central, profondément remanié