La seigneurie de Vadencourt est attestée depuis le 13e siècle, et le château actuel, bien que reconstruit plus tardivement, conserve sans doute le souvenir d'un édifice plus ancien dans les quatre tours rondes qui flanquent ses angles. Toutefois, la majeure partie du château fut entièrement refaite au 18e siècle. Seule l'élévation sud (côté corps de ferme) qui se signale par son appareillage en briques et pierres, est un peu plus ancienne (17e siècle). L'artisan de la reconstruction du 18e siècle est Jean-François de Chassepot de Beaumont, capitaine-chef à la Grande Fauconnerie de France, et gendre d'Henri Pingré de Vraignes qui avait acquis le domaine de Vadencourt vers 1680. Il fit probablement rebâtir le château dans les premières décennies du 18e siècle. Veuf en 1734, il acquit ensuite le château de Pissy par un second mariage et délaissa son domaine de Vadencourt, vendu en 1738 à François de Quellerie de Chanteraine, notable originaire de Douai. Celui-ci acheva sans doute la reconstruction du château dans les années 1740. L'ensemble date donc pour l'essentiel du 18e siècle, y compris la belle grille en fer forgé marquant l'entrée du château, oeuvre de Jean-Baptiste Veyren, dit le Vivarais. On lui attribue aussi la rampe de l'escalier, dans l'angle nord-ouest du corps de logis.