Il Castello, massiccia costruzione fatta edificare dagli Svevi, domina il profilo della città vista da lontano, con la sua figura imponente. A pianta triangolare, si distingue dagli edifici e dal paesaggio circostante per il suo colore bruno, e si erge a strapiombo sulle rocce calcaree che danno sul mare. Le tre punte del suo perimetro sono rinforzate da caratteristici bastioni a punta. Fu danneggiato durante le incursioni veneziane e durante la prima guerra mondiale. È attualmente usato dalla marina militare italiana. Nei pressi di queste costruzioni si trova la Porta ad Alt, caratteristica per l'arco acuto. Costituiva l'ingresso principale della città.
Si consiglia di verificare la corrispondenza degli orari di apertura contattando direttamente la struttura.