Construit entre 1518 et 1535 par Galiot de Genouillac. Le domaine passa à la famille de Crussol d'Uzès par le mariage de sa fille Jeanne avec le vicomte d'Uzès et y resta jusqu'à la fin du XVIIIe siècle. C'est à cette époque qu'il fut en grande partie démoli pour en vendre les matériaux, par décision du duc d'Uzès.