La première église paroissiale de Pernois formait probablement un prieuré-cure au 12e siècle, comme semble l'indiquer une bulle du pape Eugène II, qui adresse le 2 avril 1152 à Évrard, prieur de l'église Saint-Martin de Pernois, et aux religieux qui desservaient la paroisse, une confirmation de divers droits et dîmes. Cet établissement, qui relevait de l'abbaye Saint-Lucien de Beauvais, disparait semble-t-il lorsque Thibault III d'Heilly, évêque d'Amiens, s'installe en 1175 dans ses bâtiments.

Pour pallier cette disparition, l'église actuelle est certainement construite peu après, soit à la fin du 12e ou au début du 13e siècle, comme peuvent le laisser penser les vestiges les plus anciens, l'archivolte du portail occidental et le linteau orné d'un arc trilobé de la porte latérale. Le transfert est confirmé en 1340 par Jean de Cherchemont. Jusqu'à la fin de l'Ancien Régime, la paroisse de Pernois relève du doyenné de Vignacourt mais les évêques d'Amiens, seigneurs du lieu, sont également patrons de la cure et décimateurs de la paroisse. L'église est remaniée et en partie reconstruite au milieu du 18e siècle, à l'initiative de Louis François Gabriel d'Orléans de la Motte, évêque d'Amiens de 1734 à 1774, qui fait notamment ériger le transept et l'abside.

Par devis du 25 avril 1810, Charles Demoulins, architecte à Doullens, mène des réparations à l'église, comprenant la réfection de la charpente et de la couverture, ainsi que la démolition et la reconstruction du clocher. Les pignons du transept sont alors remplacés par des croupes, les voûtes d'ogives du chœur et les ailerons du portail sont détruits. Le couvrement de plâtre de l'ensemble de l'édifice est probablement réalisé à cette époque. Le cimetière qui entourait l'église est transféré à l'extérieur du village en 1862, à l'exception de quelques monuments notamment la base et la colonne de l'ancienne croix, et une croix de tombeau qui a subsisté au moins jusqu'à la Première Guerre mondiale. Les trois cloches sont refondues en 1884 par le fondeur amiénois Lecul. La sacristie, qui communique avec le jardin de l'ancien presbytère, a été reconstruite au 20e siècle.