La Rocca ha forma triangolare e le parti più antiche della fortificazione possono ancora oggi essere individuate nell'area nord-ovest della cinta difensiva, costituite da una possente torre semicircolare di pietra e ancora merlata, vertice del triangolo, e dalle due torri gemelle a sezione quadrilatera che la collegano alla cortina muraria, anche queste costruite in pietra salvo alcune parti in cotto. Il fronte rivolto alla città è anch’esso in cotto, con una bella torre semicircolare e doppia cortina muraria: l'esterna merlata e l'interna dotata di apparato difensivo a sporgere con beccatelli in pietra.
Questa costituisce la Fortezza Medicea, realizzata da Cosimo I de’ Medici intorno al 1554 per rinforzare la rocca in caso di attacco da parte di Siena, all’epoca in guerra contro Firenze. L'ingresso principale da questo lato è raggiungibile passando da uno stretto budello le cui mura sono anch'esse dotate di apparato per la difesa piombante. Cosimo I de’ Medici cinse anche il fronte nord-occidentale, alla base del terrapieno sottostante il mastio, con un bastione a due punte, mai completato ed oggi interrato. Nello spazio fra i nuovi bastioni medicei in cotto e il nucleo antico in pietra doveva sorgere una vasta piazza d'armi per la rassegna delle truppe, oggi divenuta un elegante giardino all’italiana.