En 1329, le site appartient à l'évêque de Rodez, avant de passer au XIVe siècle à la famille Izarn. Le château est alors composé d'une tour fortifiée et d'un rempart. En 1465, Almaric Izarn, après accord de la population du village, fait démolir un rempart du bourg pour accéder facilement à son château, et en 1488, l'évêque de Rodez vend le domaine. Un siècle plus tard, un château neuf est construit par la famille Méjanes de Bouyssou.
Passé à la famille Feneyrols, le château est profondément remanié en 1737, et acheté trente ans plus tard par Étienne de Bancarel, dont les descendants sont toujours propriétaires.