Le premier château fut construit à la fin du Xe siècle ou au début du XIe siècle. Il occupait l'emplacement de l'église Ste-Croix. Un deuxième fut édifié à l'emplacement actuel et l'ancien fut donné à l'Abbaye de Marmoutiers en Touraine qui y bâtit le prieuré de Ste-Croix.

Le nouveau château se composait d'un simple donjon. Il fut remplacé au début du XIIIe siècle par une forteresse beaucoup plus étendue. Il en reste quelques courtines. Cette forteresse fut elle-même reconstruite sur le même plan au XIV et au XVe siècles.
Le château était défendu au nord et au sud par des escarpements inaccessibles, et, à l'est, par un fossé large et très profond.
Le chatelet, au milieu de la face est, se compose de deux hautes tours reliées par une étroite courtine. L'ensemble est couronnée de machicoulis et surmonté d'un chemin de ronde couvert. Le chatelet est percé d'une porte en arc brisé avec une poterne et deux pont-levis.

Au sud du chatelet se dresse une tour carrée. A l'angle sud-est se trouve la tour St-Laurent, la plus importante de la forteresse. La tour de l'Argenterie, à l'ouest, se dresse entre deux petites tours carrées qui contenaient les latrines de la garnison. A l'angle ouest du château se trouve la tour de Montafilant, couronnée de machicoulis. L'angle nord-est, enfin, est protégé par la tour Neuve datant de 1420.

Façade nord	Courtine ouest (tours de l'Argenterie et St Laurent)
	Le château fut pris par le duc Conan II vers le milieu du XIIIe siècle. Il fut livré au roi Charles VIII le 1er septembre 1487. Les barons de Vitré introduisirent le Protestantisme dans la ville en 1558. Les Ligueurs faillirent s'en emparer par surprise le 3 août 1490. Le Parlement de Bretagne s'installa pendant quelques temps au château lors des épidémies de peste qui sévirent à Rennes en 1564, 1582 et 1583.