Della fortezza angioina rimane la cappella palatina, alcune torri e le mura.
Il castello in parte ricostruito da Alfonso d'Aragona si presenta di pianta irregolarmente trapezoidale ed era difeso da cinque grandi torri cilindriche, quattro rivestite di piperno e una in tufo, e coronate da merli su beccatelli. Le tre torri sul lato rivolto verso terra, dove si trova l'ingresso, sono le torri "di San Giorgio", "di Mezzo" e " di Guardia" (da sinistra a destra), mentre le due sul lato rivolto verso il mare prendono il nome di torre "dell'Oro" e di torre "di Beverello" (ancora da sinistra a destra). Il castello è circondato da un fossato e le torri si elevano su grandi basamenti a scarpata, nei quali la tessitura dei blocchi in pietra assume disegni complessi, richiamando esempi catalani
La scala interna ad ognuna delle torri, è chiamata volgarmente scala catalana. La stessa porta sul tetto del castello, dove in passato venivano poste le vedette di guardia per controllare dall'alto un eventuale arrivo dei nemici.
Sul lato settentrionale si apre, presso la torre "di Beverello", una delle finestre crociate della "sala dei Baroni"; mentre altre due finestre si affacciano sul lato orientale, una verso il mare e l'altra, lungo la parete di fondo della "cappella palatina", con monofora tra due strette torri poligonali. Protetto dall'altra torre angolare detta "dell'Oro", segue poi un corpo di fabbrica avanzato che, in origine, sosteneva una loggia e un tratto rientrante con due logge sovrapposte. Sul lato meridionale, di fronte al molo beverello, si sovrappone infine un lungo loggiato.
Tra le due torri che difendono l'ingresso (torri "di Mezzo" e "di Guardia") venne eretto un arco di trionfo in marmo, destinato a celebrare il ricordo dell'ingresso di re Alfonso nella capitale, quest'ultimo scolpito sul punto più alto dell'arco. L'opera trae ispirazione dagli archi di trionfo romani. Un arco inferiore, inquadrato da colonne corinzie binate, presenta sui fianchi del passaggio rilievi che raffigurano Alfonso tra i congiunti, i capitani e i grandi ufficiali del regno; sull'attico il rilievo raffigurante il Trionfo di Alfonso. Un secondo arco si sovrappone al primo, con colonne ioniche binate, e doveva ospitare la statua del re. Sull'attico le statue delle quattro virtù (Temperanza, Giustizia, Fortezza e Magnanimità), collocate entro nicchie, sormontate da un coronamento a forma di timpano semicircolare, con Figure di fiumi e in cima la statua di San Michele. Le sculture sono attribuite ad importanti artisti del tempo: Guillem Sagrera, Domenico Gagini, Isaia da Pisa e Francesco Laurana.
