Il castello di Gallipoli, circondato quasi completamente dal mare, si erge con la sua imponente mole all'estremità orientale dell'isola che ospita il borgo antico. Edificato, molto probabilmente, già dall'XI secolo su preesistenti fortificazioni romane, fu ricostruito nel XIII secolo in epoca bizantina. Fu più volte rimaneggiato dai conquistatori che si susseguirono nel corso dei secoli.
L'accesso è consentito mediante un ponte levatoio in legno tuttora esistente. La torre ospita ancora le originarie catapulte e i cannoni usati per difendere la città. Nel Seicento, il ponte levatoio che collegava il castello alla terraferma fu sostituito da uno in muratura. L'interno ospita grandi sale con volte a botte e a crociera, vari cunicoli e camminamenti. La forma della fortezza rimase invariata sino alla seconda metà dell'Ottocento; fra il 1870 e il 1879 fu riempito il fossato e la facciata fu coperta con la costruzione del mercato ittico.
Nelle varie epoche vi trovarono rifugio, tra gli altri, Corradino di Svevia (1268), Filippo e Roberto d'Angiò (1306-1327), la regina di Napoli Giovanna II (1414) e Ferdinando I (1463). Secondo alcuni storici nel castello di Gallipoli nacque il pittore Giuseppe Ribera, lo Spagnoletto.
