Le pavillon des Ducs est le dernier édifice du château construit dans les années 1530 par Philippe Chabot de Brion, Comte de Buzançais et Amiral de France. Le pavillon des Ducs est un bâtiment carré possédant une toiture à quatre versants et une élégante tour polygonale. Les portes et les fenêtres sont décorées de motifs Renaissance