L'hospice fut fondé en 1462 par Jean de Lecambe (ou Delcambe) dit Gantois, riche commerçant et magistrat lillois. Par son testament daté du 22 novembre 1466, il conforta cette fondation par un acte authentique et lui donna le règlement de son organisation intérieure. Ce fut très probablement dès cette époque que fut bâtie la grande salle des malades qui servit de réfectoire à la suite des agrandissements importants entrepris à partir de la seconde moitié du 17e siècle. Cet hospice accueillait hommes et femmes âgés indigents, ainsi que des invalides, et était desservi par des sœurs augustines. Les pensionnaires étaient vraisemblablement logés à l'origine dans la grande salle des malades, dont la haute toiture était surmontée d'un clocher, qui disparut en 1557. L'entrée principale primitive était située rue Malpart à côté du bâtiment Saint-François. L'édifice fut considérablement agrandi aux 17e et 18e siècles : adjonction d'une chapelle dans le prolongement de la salle des malades, construction de maisons en front de rue destinées à être louées pour apporter un complément de revenu à l'institution (dates portées : 1651 et 1664), ainsi que d'un bâtiment pour abriter la communauté des religieuses. Après ces divers agrandissements, les divers corps de bâtiments composant l'édifice se distribuaient, comme encore aujourd'hui, autour de quatre cours intérieures dont la cour d'honneur au nord de la salle des malades, la cour dite de la Glycine dite aussi cour des sœurs sur l'arrière de la cour d'honneur, et la cour de service au sud de la salle des malades. La cour d'honneur est bordée de bâtiments dont l'un porte à la fois la date de 1664 et celle de 1729, lesquelles correspondraient à la construction respectivement du rez-de-chaussée et du premier étage.

Au 19e siècle l'établissement fut encore l'objet de quelques travaux, avec notamment aménagement de nouveaux dortoirs. Les sœurs desservantes qui avaient été contraintes de quitter l'établissement sous la Révolution, y revinrent en 1815 et furent présentes jusqu'en 1975. L'établissement cessa définitivement son activité hospitalière en 1995 et fut cédé par bail emphytéotique à une chaine hôtelière qui l'aménagea en un hôtel de luxe, baptisé Hermitage Gantois, qui ouvrit ses portes en 2003. Ces importants travaux furent mis à profit pour rétablir certaines dispositions originelles de la façade sur rue et, à cette occasion, on fit disparaître les ouvertures percées après coup dans cette façade : furent alors obturées les six ouvertures rectangulaires qui ajouraient la partie inférieure du mur-pignon de la grande salle des malades tandis que la fenêtre axiale en arc brisée se voyait concomitamment prolongée vers le bas pour retrouver l'ampleur de son envergure primitive. Afin de ménager un vaste salon d'accueil, la cour de service a été entièrement couverte d'une verrière.