D'origine provençale, Ambroise Ferdinand HERMITE était venu à Dieuze en 1808 où il occupa un poste de conducteur de travaux, attaché à la construction du canal des Salines. En 1813, il épousa Madeleine LALLEMAND née à Vergaville, fille de Jean Lallemand, Directeur de la Poste aux Lettres et négociant de drap en gros.
Ambroise Ferdinand HERMITE abandonna son emploi aux Ponts et Chaussées et le couple géra le commerce de drap». Charles était encore enfant lorsque ses parents quittèrent Dieuze et s'installèrent à Nancy pour développer davantage leur commerce très réputé dans la région. (le dernier frère de Charles Hermite est né à Nancy en 1828).La famille habita un bel hôtel rue St Nicolas et posséda une maison de campagne au Montet (actuelle avenue du Général Leclerc).