Devenu infirme de bonne heure, il se retira chez son frère aîné au château de Fransart, vers 1565, où il fut soigné par sa cousine germaine, Jeanne du Sart.