En 1759, peu après le décès de son père, la terre de Lorges (Loir-et-Cher) avec le château de Fontenailles sont vendus à Charles François Tassin de Charsonville. Le duché est transféré à L'Hermitage, devenu depuis L'Hermitage-Lorge, où son père avait fait construire un château plus imposant.