Le donjon du château de Saint-Pierre daterait du Xe ou du XIe siècle, et fut détruit à la fin de la guerre de Cent Ans.
Au XVIIe siècle, la famille de Grosourdy de Saint-Pierre fait ériger un nouveau château sur ce site, qui sera ravagé lors de la Révolution par un incendie criminel. Il sera reconstruit sous la forme d’un manoir en brique et silex, dans un style propre à l'époque, mais le château et la chapelle sont de nouveau la proie des flammes.
Vers 1840, un nouveau château est reconstruit vers 1840, dans le style troubadour. Il est acquis en 1921 par le marquis de Saint-Pierre, faisant ainsi revenir cette terre dans le giron de la famille de Grosourdy de Saint-Pierre. Il sera finalement volontairement démoli par Michel de Grosourdy de Saint-Pierre en 1970, pour des raisons de sécurité.
Actuellement subsistent les ruines du donjon médiéval, un des deux bâtiments d'écuries du XVIIe siècle (aujourd'hui logis d'habitation), l'orangerie, le colombier du XVIIIe siècle, une forge, un chenil remanié au XIXe, une maison dite de garde réutilisant des matériaux de calcaire du château...