En 1565, François de Saluste, riche marchand gascon, achète à Saint-Georges la terre du Bartas, dominant la petite vallée du Sarrampion, à Bernard d'Ornézan, évêque de Lombez. Il n'y a alors sur ce site qu'une ferme et des bois inhospitaliers (barta ou barto signifiant en gascon « forêt » et bartas ou barthas « mauvaise forêt »), mais il s'agit d'un bien d'Église et par conséquent d'un fief noble.
Le , il passe un contrat en vue de la construction d'une demeure seigneuriale, qui sera achevée une quinzaine de mois plus tard, à la fin de l'année 1569.
Devenu seigneur du Bartas, François transmet le château à son fils, Guillaume, célèbre poète gascon, qui y vécut toute sa vie. Au terme du testament du poète, Anne de Saluste, l'aînée de ses quatre filles, hérite du château et de ses dépendances, qui sont ensuite légués dans les familles du Frère et d'Astorg.
Transmis de génération en génération, le château du Bartas a été vendu par les derniers descendants du poète, la famille d'Estarac, à la fin du XIXe siècle à Monsieur Antonin Collongues. Il passe ensuite entre diverses mains (notamment Monsieur et Madame José de Carvalhaes ou encore le styliste Frédéric Castet). De 2001 à 2005, il a été la propriété de la princesse Margarita de Bourbon-Parme et son mari Edwin De Roy van Zuydewijn.
Le château a été inscrit aux monuments historiques le .