Le plan de Péronne de 1713 figure à cet emplacement la collégiale Saint-Fursy fondée au milieu du 7e siècle, qui forme le noyau du bourg fortifié à l'origine de la ville.

Pierre de la Planche en donne une description en 1669 : "la principale [église de Péronne] est dédiée à S. Fursy, abbé de Lagny. Elle est collégiale où sont 34 chanoines. L'église est haute exhaussée ayant son gros clocher au bout de la nef avec une sonnerie fort harmonieuse. La principale entrée de l'église est au bout de la croisée du côté septentrional, le cloître est à l'opposé en façon de celui d'une abbaye. Il y a encore un clocher en aiguille sur la croisée ; dans le choeur est enterré le Roi Charles III, dit le Simple, qui mourut en ce lieu en 936. Sa sépulture n'est qu"une simple tombe en pierre. Sa figure est dans la nef contre le premier pilier à droite où il est représenté à genoux".

La collégiale, dont l'emprise est connue par un plan de la fin du 18e siècle (ill.), est vendue et démolie après la Révolution.

Le terrain est divisé en trois lots acquis par François Fournel, entrepreneur de bâtiments également propriétaire de l'ancienne église des Minimes, et par Forget Delaporte, marchand de blé (B 987 à 990). Le plan de la ville de 1863 y figure le magasin d'artillerie. Au centre se trouve la prison (B 983 à 986), construite en 1823 et disposant d'une cour des hommes (B 983) et d'une cour des femmes (B 984). Au début du 20e siècle, les travaux réalisés par les détenus comprennent notamment : le cardage de la laine de gilets américains en peau de mouton et des travaux de cordage (AD Somme ; KZ 1494).

Les terrains de la prison et du magasin d'artillerie, détruits durant la Première Guerre mondiale, sont utilisés à la reconstruction du palais de justice.