Né hors mariage il est élevé par Jacques Cavaillé et Marie-Anne Cabannes, cousins de ses parents naturels qui le déclarent comme enfant. Reconnu tardivement par son père naturel, en 1895 il est cité parmi les cousins qui mènent le deuil de Louis-Etienne de Gonet. Il hérita de sa grand-mère de la maison Baille à Montpellier, rue Alexandre Cabanel ( anciennement rue Triperie-Neuve ) où il résidera plus tard avec son fils et son épouse en 1906.