Cette famille serait issue des Potier de Novion, filiation contestée.
Il aurait pour parents Jacques Jean Potier et Marie Olive de France, dame de La Morandière, mariés en 1710, et pour grands-parents André Potier, marquis de Novion, et Catherine de Malon.