Au début du 20e siècle, le site est occupé par le château et le parc de l'industriel Charles Gervais, dont l'usine de la Belle-Assise, spécialisée dans la fabrication de boîtes de Petits Suisses Gervais, jouxtait la propriété.

En 1934, le domaine de la Belle-Assise, dont le nom fait référence à un cabaret ayant existé sous le règne de Louis-Philippe (1830-1848), est englobé dans un projet de lotissement d'Habitations à Bon Marché (HBM) que la ville de Clermont souhaite créer afin de développer sa population. Le terrain de plus de 5 ha, qui appartient à la famille Corbière, héritière de l'industriel fromager Charles Gervais, est acquis par la Ville de Clermont en 1935. La construction des maisons est engagée immédiatement, en bordure du parc paysager de l'industriel.

Mais, rapidement, pour compenser l'éloignement de ce quartier des principaux équipements et services, la Ville envisage la construction d'un collège capable d'accueillir les jeunes garçons de ce lotissement. L'emplacement retenu pour élever cet équipement scolaire est celui du parc même de l'industriel.

La Ville de Clermont lance un concours qui est remporté par l'architecte Lucien Daboval, installé à Méru (Oise), et ses associés clermontois, Jean Nimbeau et Victor-Nestor Boudoux. Leur projet répond aux besoins fondamentaux du projet : rationalisme, fonctionnalisme, hygiénisme et confort. Il se caractérise par une recherche de stricte économie, prônant le choix de bâtiments de faible largeur. L'architecte et ses associés délimitent une cour d'honneur, deux cours de récréation, deux jardins pour les classes maternelles et un terrain de sport. L'ensemble, marqué par sa rotonde au sud, emprunte autant au "style paquebot" de l'Art déco que du mouvement Moderne. Il est directement inspiré du pavillon de la Belgique de l'Exposition universelle de 1937, dont Daboval était également l'auteur.

La première pierre du nouvel édifice est posée le 10 juillet 1938 par Édouard Herriot, alors président de la Chambre des Députés. À l'approche imminente du conflit, en 1940, les bâtiments encore en chantier sont menacés d'être réquisitionnés par le Service de Santé de l'Oise pour y installer un hôpital chirurgical militaire. On décide alors de l'inaugurer à la hâte le 27 avril 1940. L'engagement personnel du proviseur, du maire et du préfet permettent à l'établissement scolaire de conserver sa vocation initiale malgré les pressions. Lors de cette inauguration, le préfet souligne qu'il s'agit là "d'un des plus modernes et des plus beaux collèges de France". Un mois après son inauguration, le 10 juin 1940, l'armée allemande investit la ville. Le nouvel édifice, qui prend d'abord le nom de Cassini, accueille cependant 59 élèves le 7 août 1940. Ils sont plus de 200 en octobre. La réception définitive des travaux n'a finalement lieu que le 17 février 1943.

La ville de Clermont est bombardée à deux reprises, le 25 mai 1940 et surtout le 25 août 1944. Le quartier de la Belle-Assise où se trouve le collège est fortement touché. L'usine Gervais attenante est quant à elle entièrement détruite. Le collège connait également des dégâts importants. Les restaurations qui s'en suivent, financées avec les dommages de guerre, permettent au début des années 1950 de construire de nouveaux bâtiments dans lesquels 1300 élèves peuvent désormais être accueillis. En 1972, le collège change de nom en raison de la dénomination similaire du lycée. Le collège prend le nom de Jean-Fernel, médecin d'Henri II et de Catherine de Médicis, originaire de Clermont. En parallèle, l'internat qui occupait l'aile nord, est fermé. Le réaménagement du bâtiment conduit à la construction de nouvelles cage d'escalier en structure métallique et verre à ses extrémités. Le réfectoire, les cuisines et l'infirmerie sont démolies et des terrains de sport sont installés au sud du terrain.

Les bâtiments sont désaffectés en 2001 et leur propriété est transférée à la Communauté de Communes du Pays du Clermontois. Après une longue période d'abandon, celle-ci décide en 2020 de démolir l'édifice pour laisser place à un vaste centre culturel dédié au numérique, aux loisirs et à la lecture. Toutefois, la labellisation Architecture contemporaine remarquable et la protection de l'édifice au titre des Monuments historiques en 2021 ont contraint le propriétaire à conserver l'édifice et à redéfinir son projet de Pôle culturel au sein même des bâtiments.