Détruite au cours de la première guerre mondiale, la première gare de Tergnier est construite en 1859, peu après la mise en service des premières liaison ferroviaires.

En janvier 1920, la Cie du Nord n'envisage pas la construction d'une nouvelle gare "moderne, l’importance de Tergnier au point de vue voyageurs et marchandises ne permettant pas de l’assimiler à la catégorie des gares de grand transit. Pour que la ville puisse avoir cette gare, il y aurait lieu [...] de bien vouloir autoriser la Cie à percevoir des surtaxes sur les billets de voyageurs et sur le transport des marchandises [...] afin que le supplément de recettes permette de rembourser les dépenses occasionnées". Le Conseil municipal est favorable à cette proposition et demande que les abords de cette nouvelle gare soient élargis" (DCM 24/01/1920).

En juillet 1922, le Conseil municipal accepte que l'embellissement du "bâtiment type" de la Cie du Nord soit effectué aux frais de la ville de Tergnier. D’après le projet établi par la Cie des chemins de fer du Nord, l’embellissement du bâtiment des voyageurs et des clôtures exigeraient une dépense supplémentaire estimée à [...] 260.000 francs, grâce à laquelle la ville de Tergnier pourrait obtenir une construction répondant mieux à ses aspirations et dont l’attrait serait susceptible de favoriser le commerce local". La subvention de la ville doit être financée par un emprunt et une surtaxe (DCM 07/07/1922).

Pour sa reconstruction, elle est déplacée vers le nord, à son emplacement actuel. L'édifice est dessiné par l'architecte et ingénieur Urbain Cassan. Dans un article publié dans La Construction moderne en 1931, Anthony Goissaud indique que la gare est construite après la Cité, "dans un genre nouveau qui ne rappelle en rien le vieux bâtiment principal détruit de l'ancienne gare et qui était en briques". Il écrit aussi que "ce bâtiment, fréquenté par les voyageurs, est resté [longtemps] inachevé, laissant apparentes sa structure et sa maçonnerie brute. L'année dernière les parements ont été terminés, décorés, le hall achevé et maintenant la gare composée d'un rez-de-chaussée et d'une partie centrale plus élevée enveloppant le hall, est achevée ; elle constitue un nouveau type de gare de chemin de fer".

Le bâtiment comprend un hall central d'entrée formant un pavillon plus élevé et deux ailes abritant les bureaux et services de messagerie (au sud) et le service de bagages et des bureaux (au nord). Le bâtiment en rez-de-chaussée, au nord, pourrait avoir abrité des logements pour le personnel d'astreinte de la gare. Les photographies des années 1930 montrent que les portes de ces ailes étaient protégées par une marquise avec un cartel portant l'inscription MESSAGERIE (au sud) et SORTIE (au nord). Une marquise protégeait les trois portes ouvrant sur le hall. Enfin un lanternon orné d'horloges sur chacune des quatre faces surmontait la voûte en béton du pavillon central.

La gare est restaurée après la seconde guerre mondiale. L'aile nord est réduite de neuf à trois travées, la marquise qui protégeait la porte (façade est) est supprimée, comme celle qui courait le long du bâtiment côté quai. Un tableau commémoratif des morts est fixé sur le mur nord.

Mise en service en octobre 1948, elle présente des "dispositions qui classent Tergnier parmi les plus grands triages modernes de la SNCF" (Revue générale des Chemins de fer, 1949).

Le couvrement de la gare a été modifié dans le 3e quart du 20e siècle (modification de la toiture, suppression du lanternon et de l'ancienne horloge, remplacement de la marquise).