La torre è stata costruita per volontà della Famiglia Frangipane a partire dal 1193, per proteggersi dalle numerose incursioni dei saraceni. Dopo altalenanti vicende storiche passo sotto il dominio dei Caetani e poi degli orsini. Successivamente, nel 1426, la fortezza passò sotto i Colonna i quali la ristrutturarono, dandole l’attuale aspetto. I Colonna la cedettero a Clemente VIII Aldobrandini nel 1594. Quando la famiglia Aldobrandini si estinse, fu ceduta ai Borghese, ed in ultimo al comune di Nettuno negli anni settanta del XX secolo.
L’intera costruzione, che si presenta come una piccola isola fortificata, ha assunto nel corso del tempo le fattezze di un vero e proprio castello sul mare. Si notano, infatti, sia le alte mura perimetrali sia le piccole merlature. La fortezza è collegata alla terraferma tramite un basso ponticello ad arcate realizzato in travertino. Il ponte attraversa un’area archeologica riferita ad una villa di epoca romana, dove è visibile anche una grande peschiera.
