Il castello, possente fortezza medioevale, alta e maestosa, è collocato sulla parte più elevata della collina denominata Sant'Angelo. Esso si articola intorno ad una torre pentagonale con piccola cinta merlata (attribuita al duca di Gaeta Docibile I nell'882). Nel 950 il nipote di Docibile, Marino I, fece costruire una seconda torre quadrata più alta e maestosa della prima. In seguito, il castello fu oggetto di nuovi lavori, con la costruzione della parte abitativa, del torrione cilindrico e del cammino di ronda (1250) che li unisce.
A questo complesso appartiene anche un fortilizio (la cavea) con tre piccole torrette cilindriche disposte ad un livello inferiore e visibili dall'entrata principale del castello: questa parte era adibita a luogo di ristoro per cavalli, servitù e gendarmi. Dalla cavea si può vedere, grazie ad un cancelletto, il ghetto ebraico (vico Giudea) dove si trovava anche una piccola sinagoga, ormai scomparsa.
La parte del castello destinata ad abitazione si sviluppa su due piani, ciascuno diviso in tre sale. Entrando, immediatamente a sinistra si presentano tre sale e, dalla seconda, si può accedere, grazie ad una scalinata, al piano inferiore. Questo piano è costituito da tre vasti spazi destinati ad uso domestico, come lasciano supporre i resti del forno e della vasca utilizzata per conservare il cibo, ancora visibili nella stanza sulla sinistra. Si può anche osservare l'antica cisterna dove erano raccolte le acque piovane. Al secondo piano è possibile vedere i resti di quello che era un camino ed un affresco rappresentante Sant'Antonio abate e Madonna lattante con il Bambino. In questo punto, infatti, fu fatta costruire dalla famiglia Caetani una cappella privata che fa pensare che la sala antistante fosse una camera da letto. Secondo alcune leggende, sarebbe possibile sentire dei fantasmi lamentarsi nelle notti di temporale e, soprattutto, veder fluttuare dei mantelli lungo il cammino di ronda che collega il castello alla "Torre del Coccodrillo". Salendo l'ultima rampa di scale della torre quadrata si accede a un'ampia terrazza da cui è possibile godere un vasto panorama.
