Le château actuel fut commencé en 1424 par le duc Jean V qui construisit le donjon central. Le donjon dont la face est est semi-circulaire culmine à 40 mètres. Il est couronné de machicoulis qui soutiennent un chemin de ronde couvert. Il servit de lieu de détention pour les prisonniers politiques aux 17e et 18e siècles.

Quatre tours complètent la fortification :

• Le duc François II édifia la tour La Générale en 1475 pour tenir la ville en respect. Elle mesure 21 m.de hauteur. Ses murs ont 7 mètres d'épaisseur!

• Sa fille, Anne de Bretagne, fit ériger la tour Quic-en-Groigne en 1500. Elle mesure 20 m de haut et a un diamètre de 22 m. Elle renferme un musée retraçant l'histoire de la cité corsaire. Le nom de la tour viendrait, selon la tradition, d'un épisode où une députation de chanoines et de bourgeois serait allée supplier la duchesse Anne de ne pas continuer ses travaux qui menaçaient directement la ville. La souveraine se contenta de leur répondre : Quic en groigne, ainsi sera, c'est mon plaisir".