Il Castello, massiccia costruzione fatta edificare dagli Svevi, domina il profilo della città vista da lontano, con la sua figura imponente. A pianta triangolare, si distingue dagli edifici e dal paesaggio circostante per il suo colore bruno, e si erge a strapiombo sulle rocce calcaree che danno sul mare. Le tre punte del suo perimetro sono rinforzate da caratteristici bastioni a punta. Fu danneggiato durante le incursioni veneziane e durante la prima guerra mondiale. È attualmente usato dalla marina militare italiana. Nei pressi di queste costruzioni si trova la Porta ad Alt, caratteristica per l'arco acuto. Costituiva l'ingresso principale della città.