Fils illégitime de Charles-François de Ponthon avec Marie-Madeleine Giuliani, née Perlot-Brunet, lors d'un séjour romain, il ne put être reconnu par son père biologique, la législation romaine interdisant le divorce et la reconnaissance d'enfants adultérins. Charles-François fut adopté par son propre père après la disparition de son père putatif, Monsieur Giuliani. L'acte d'adoption a été signé par le pape.