L'edificio probabilmente venne eretto nel VI secolo durante la guerra dei Goti o nel VII secolo quando le zone marittime del Lazio e della Campania erano oggetto delle mire espansive dei Longobardi. Nei documenti gaetani di quel periodo ci si inizia a riferire a Gaeta con l'appellativo di "Kastrum". Notizie certe dell'esistenza del castello di Gaeta si hanno al tempo di Federico II di Svevia, il quale durante il periodo delle lotte col papato, soggiornò in diverse occasioni in Gaeta, e, intuendone la posizione strategica, nel 1223 vi fece fortificare il castello.
La struttura che oggi ammiriamo, grande circa 14.100 m², è detta castello angioino-aragonese perché è composta da due edifici comunicanti realizzati in due momenti storici diversi, uno più in basso detto "angioino", realizzato durante il governo dei sovrani di origine angioina, l'altro più in alto detto "aragonese", fatto costruire dai sovrani del regno di Napoli appartenenti alla dinastia di origine aragonese. L'imperatore Carlo V fece realizzare molte altre opere di difesa militare che andarono a rafforzare poderosamente l'intera piazzaforte di Gaeta rendendola tra le più imponenti e munite d'Europa. L'ala angioina fino a pochi anni fa è stata sede del carcere militare di Gaeta, in seguito è stata affidata all'Università di Cassino che intende destinare in futuro tale ala del castello come sede delle facoltà universitarie di discipline marinare. L'ala aragonese fino al termine della Seconda guerra mondiale è stata sede della Scuola Allievi carabinieri, oggi invece ospita la scuola nautica della Guardia di finanza. Nella cupola della torre più alta del castello Aragonese, detta Torre di Gaeta, vi è la Cappella Reale, voluta dal re Ferdinando II di Borbone nel 1849.
