Après le décès de ses parents, il fut conduit ainsi que sa soeur (Marie Josèphe) à Jersey par un marin dévoué à la famille. Il y fut recueilli par son oncle, Joseph Claude Jean Marquis de l'Estourbeillon.