Selon des traditions locales divergentes, l'origine de cette église remonte au IIIe siècle (époque à laquelle Chrysole aurait transformé un temple païen dédié à Saturne en une église chrétienne à laquelle il aurait donné le nom de Saint-Pierre) ou au XIe siècle (époque à laquelle elle aurait accueilli un collège de chanoines). Faute de fouilles archéologiques et d'études approfondies, il est difficile de préciser davantage les origines de cette implantation religieuse.

Les premiers textes relatifs à l'église ne remontent qu'au XVIe siècle et évoquent son pillage et son incendie en 1579, lors des guerres de Religion. Le chœur de l'édifice ne semble reconstruit qu'en 1757 dans un style néoclassique. En 1790, la période révolutionnaire met fin au régime spécial de la paroisse de Comines : Comines Nord et Comines Sud sont séparés. Le chapitre de chanoines est alors dissout et la collégiale perd à la fois son statut et son vocable pour devenir l'église paroissiale Saint-Chrysole, du nom de son fondateur.

Avant 1914, l'église fait l'objet de deux grandes campagnes de restauration, en 1842 et en 1911. Au cours de cette dernière campagne de travaux, le mauvais état de l'édifice est tel que la construction d'un nouveau lieu de culte est un temps envisagé.

Au cours de la Première Guerre mondiale, la ville de Comines est lourdement touchée par les bombardements. La place principale qui accueille les principaux édifices de la ville, dont l'église, est entièrement détruite.

À l'issue du conflit, le maire de la commune, Vincent Cousin, fait appel à deux des architectes réputés pour reconstruire des édifices dont il a la charge. La reconstruction de l’hôtel de ville est ainsi confiée à Louis-Marie Cordonnier (1854-1940), et celle de l’église à Maurice Storez (1875-1959), qui préside le groupement d'artistes catholiques l'Arche. Dans le cadre de ce groupement, Maurice Storez confie le projet au moine-architecte Dom Paul Bellot (1876-1944), qui réalise un projet d'envergure incluant l'église et son mobilier ainsi que le presbytère.

Le nouvel édifice religieux, dont le chantier est engagé en 1922, s’inspire très nettement de l’art byzantin, dont il emprunte le plan en croix grecque, en particulier des églises de la Dormition de Jérusalem ou à celle des Saints Apôtres de Constantinople, (aujourd’hui Istanbul). La même inspiration byzantine est également remarquable dans la mosaïque colorée du dôme et des éléments ornementaux qui jalonnent l'édifice. Mais l’œuvre va bien au-delà du décor et fait preuve d’une réelle audace architecturale par l’emploi de voiles de béton mince.

La nouvelle église est inaugurée le 7 juillet 1928 mais elle n’est définitivement achevée qu’en juin 1929. Reconnue pour sa singularité et pour son importance dans l’œuvre de Dom Paul Bellot, l'église Saint-Chrysole de Comines est classée Monument historique par arrêté du 9 septembre 2002. En 2011, elle fait l’objet d’un vaste chantier de restauration qui va durer près de sept ans. L’achèvement des travaux est marqué par une nouvelle inauguration le 21 octobre 2017.