Les Nogaret étaient seigneurs de La Valette (Lavalette, en Haute-Garonne) depuis le Moyen-Âge. Jean-Louis de Nogaret de La Valette donne son nom à Villebois-Lavalette, en Charente, élevée pour lui en duché-pairie en 1622.
Le mariage "morganatique" avec Anne de Monier reste secret jusqu'au XIXe siècle où le marquis de Castelbajac le découvre caché dans un mur du château de Caumont avec des papiers d'Épernon.