Le domaine de La Castille devient en 1730 sa propriété (vendu par les Forbin en 1716). Il fait reconstruire le château sous sa forme actuelle, et creuser les caves par les forçats de Toulon. En 1829 le Comte de Selle vend le domaine à des "soyeux" de Lyon, la famille Aubert, qui le fera prospérer. C’est Madame Frédéric Aubert qui, restée sans descendance à la mort de son mari en 1922, va léguer le domaine à l’évêché de Fréjus-Toulon, demandant que cette maison soit consacrée à l’accueil et à la formation des prêtres.