Yvoire est érigée en baronnie le 1er juillet 1772 en leur faveur. Ils en sont investis le 12 férier 1774. L'année suivant le décès de sa femme, Jean François Joseph Barbier du Maney rétrocède la baronnie à François Marie Bouvier d'Yvoire, cousin de son épouse.