Le prime notizie sicure del castello risalgono al 970. In un diploma del 1081 il castello risulta di proprietà di Riccardo Senescalco. Con il dominio angioino, il castello assunse l'aspetto di un fortezza con bastioni e torri merlati. Subì ulteriori trasformazioni sotto gli Aragonesi e nel XVIII secolo la famiglia degli Imperiali ricostruì la torre ottagonale e la facciata verso la gravina, opera dell'architetto leccese Mauro Manieri. Il castello passò successivamente in possesso di diversi proprietari e fu infine acquistato dal Comune.
L'ingresso principale, su via La Terra, è tramite un ampio portale da cui si accede all'atrio, con al centro un pozzo ed una rampa che portava al ponte levatoio, di cui sono ancora visibili le carrucole. Da una scala d'onore si accede agli ambienti della residenza signorile. Si conservano locali adibiti a diversi usi: scuderia, fienili, armeria, prigioni (corrispondenti alle torri su via La Terra e alla torre ottagonale), magazzini, neviere e pecerie (dove si conservava la pece per le fiaccole). Vi era anche una cappella dedicata a San Lorenzo. Secondo la tradizione popolare esistono passaggi segreti e una galleria che collega il castello al mare.
