Au milieu du 19e siècle, Charles Gomart rédige plusieurs articles sur la crypte de l'ancienne collégiale et sur le tombeau de saint Quentin, articles d'autant plus intéressants qu'ils sont antérieurs à la restauration de la crypte sous la direction de l'architecte Pierre Bénard. A cette époque, le sarcophage de saint Quentin est installé dans une alvéole en forme de four, et Gomart signale que, dans le bas de ce caveau, deux pierres sont enclavées dans la paroi. L'une d'entre elles, outre des moulurations et ornements géométriques, présente au centre un motif de croix à l'intérieur d'un cadre, alors que l'autre offre à la vue le même décor à l'exception de la croix, le cadre étant vide. La maçonnerie des alvéoles de la crypte est datée du 9e siècle, ce qui sous-entend que ces pierres, réutilisées, sont d'une datation antérieure. Christian Sapin, qui dirige les fouilles du choeur, propose pour ces pierres une datation du 5e ou du 6e siècle. La crypte est réaménagée vers 1873. L'alvéole qui abritait le sarcophage de saint Quentin est agrandie jusqu'au sol, et ses parois sont recouvertes d'un placage de marbre. Dans l'état actuel des connaissances, on ignore si les pierres ornées du décor géométrique et des croix sont retirées du mur puis dirigées vers un dépôt lapidaire, ou si, restées en place, elles sont désormais masquées par le revêtement de marbre. Quoi qu'il en soit, plus personne ne semble en parler. L'une des deux pierres a néanmoins survécu à ces travaux et à la Première Guerre mondiale, et se trouve actuellement dans le dépôt lapidaire de la basilique. Contrairement à ce que pensait Charles Gomart, il ne s'agit pas d'un relief mais d'un objet quadrangulaire, qui n'était sans doute pas visible sur toutes ses faces, puisque la croix n'est pas sculptée sur les quatre côtés. Cette pierre pourrait provenir du pied d'une table d'autel, du support d'un reliquaire ou d'un élément de mobilier funéraire.