Construit pour François de Montmorency sur les fondations d'un ancien château datant des XIIe et XIIIe siècles, l'édifice était fortifié au Moyen-Âge et comportait une fosse remplie d'eau. Après la Révolution française la demeure fut réaménagée par la famille de Mandat-Grancey, qui l'occupe toujours.