Il castello sorse come rocca nel corso del X secolo, per volere degli Aldobrandeschi, in un'area che aveva dato alla luce reperti di epoca preistorica. Il complesso rimase di proprietà della famiglia Aldobrandeschi fino alla fine del XIII secolo, eccetto un breve e temporaneo passaggio alla famiglia Alberti di Mangona.
Tra la fine del Duecento e gli inizi del XIV secolo il castello fu ceduto ai Pisani che lo controllarono per quasi un secolo; proprio in questo periodo fu completamente ristrutturato il complesso. Nel 1398 sia Scarlino che la sua rocca entrarono a far parte del Principato di Piombino, sotto la cui giurisdizione rimase fino al 1815, anno in cui entrò a far parte definitivamente del Granducato di Toscana.
Dopo un lungo periodo di degrado che ha compromesso una parte dell'antica fortificazione, sono stati condotti importanti interventi di restauro negli ultimi anni del XX secolo che hanno permesso di salvare il complesso, cercando di riportarlo agli antichi splendori.
L'intero complesso, interamente rivestito in pietra, poggia su strutture molto più antiche che testimoniano l'origine alto medievale del castello.
Si trova in posizione dominante rispetto all'abitato, all'area meridionale delle Colline Metallifere grossetane e alla parte settentrionale della Maremma grossetana; si presenta sotto forma di imponenti ruderi recuperati grazie ai lavori di restauro effettuati negli ultimi due decenni del Novecento.
Il complesso attuale, risalente alla ristrutturazione tardo medievale, è costituito da tre torri angolari differenti tra loro, unite tra loro da una serie di cortine murarie di altezza diversa. La torre nord-orientale si presenta a sezione circolare, con una porta ad arco tondo; attorno ad essa si sviluppano i resti di cortine murarie che dovevano racchiudere, in passato, un bastione o un fortilizio. La torre sud-orientale presenta una sezione quadrata, mentre quella sud-occidentale è rettangolare e di altezza minore rispetto alle altre.
