L'édifice construit après la Première Guerre mondiale remplace une mairie-école, qui se situait à l'emplacement de l'église actuelle. Son déplacement est prévu dans le cadre du plan d'aménagement et d'embellissement dessiné en 1920, qui fixe initialement son nouvel emplacement au centre d'une nouvelle place (actuelle place Paul-Doumer), aménagée au nord de la rue Victor-Hugo.

En août 1924, le projet dressé par l'architecte communal Antoine reçoit un avis favorable du Conseil des Bâtiments civils, sous réserve de quelques modifications (cf. annexe). Radié de la liste des architectes agréés pour la reconstruction, Antoine est remplacé, début 1925, par Lemaire qui décède début 1926.

C'est donc au nouvel architecte communal Paul Albert Müller, qu'est confié le projet de construction du nouvel hôtel de ville, dont le maire de Tergnier G. Claudon résume le nouveau programme en septembre 1926 (archives privées) : "Adossé au jardin public, la face principale donnant sur la Grand place, l’hôtel de ville comprend au rez-de-chaussée tous les services administratifs : renseignements, secrétariat, bureau du cadastre, du voyer, caisse d’épargne etc. Une grande salle servant aux réunions de commission pourra être transformée en justice de paix, si les besoins s’en font sentir. Un hall monumental et un grand et bel escalier d’honneur conduisent le visiteur à l’étage. Au premier, toute la réception : salon d’honneur des mariages, des réunions du conseil municipal cabinet du maire. Au 2e : logement du secrétaire général, archives. Son pignon sur la façade sera décoré d’une horloge. Sa décoration aura l’unité nécessaire et contribuera à l’ensemble architectural de la place".

Lors de sa séance du 3 mars 1927, le Conseil municipal vote l'acquisition des terrains Rouillard et Gauthier pour y construire l’hôtel de ville et l’église et la demande d'autorisation d’employer les dommages.

En 1928, Paul Albert Müller dessine de nouveaux plans, qui comprennent deux petites annexes prévues de part et d'autre de l'hôtel de ville, "dans le caractère de cet édifice, devant servir d'abri aux promeneurs et dont l'ensemble viendra étoffer la silhouette du bâtiment principal" (DCM 7/7/1928). Il préconise également une ossature en béton armé Hennebique à l'épreuve du feu, des planchers en béton (rez-de-chaussée et premier étage), et des briques "Botty" pour les planchers hauts des étages. Dans son rapport du 1er décembre 1929, il propose quelques modifications et plus particulièrement le renforcement d’épaisseur aux menuiseries intérieures (bâti et panneaux et huisseries pour les ouvertures ayant plus de 2m 20 de hauteur).

En décembre 1929, Müller indique que les moulages devant servir à la frise extérieure du pignon, exécutés par le sculpteur Bachelet, sont terminés. La porte en fer forgé est commandée à Prouvé, ferronnier à Nancy. Enfin, la plaque commémorative destinée au hall d’entrée, est réalisée par Arthur Badot marbrier sculpteur (facture du 7/9/1931), d'après la maquette de Müller (21/11/1930).

Les cartes postales des années 1930 et la vue aérienne (IGN) de 1931 montrent que l'édifice est construit suivant les plans de l'architecte, à l'exception des annexes destinées aux promeneurs.

L'édifice est légèrement endommagé durant la seconde guerre mondiale (logements du second étage, bris des vitres de la porte principale, des baies de l'étage, briques éclatées façades extérieures) comme l'indique le constat des dommages effectué en 1941.

Quelques transformations ont été effectuées à la fin du 20e siècle : les verrières des portes coulissantes séparant la salle des mariages des salles du Conseil sont commandées au verrier Didier Quentin, les porches latéraux ont été fermés et une cage d'ascenseur a été ajoutée à l'arrière du bâtiment. Une nouvelle salle du Conseil est construite au nord en 1980.