Tale imponente opera rappresenta il frutto dell'ingegno architettonico di Gian Giacomo dell'Acaya, regio ingegnere militare di Carlo V. Lo scopo che lo indusse a fortificare il vecchio borgo di Segine, poi rinominato Acaya dal nome della sua famiglia, scaturiva dall'idea secondo cui esso poteva svolgere funzioni difensive, essendo vicino al mare. Il castello, risalente al 1535/36, ha una struttura trapezoidale circondata da mura a sagoma rettangolare e da un fossato. Esso occupa un angolo delle mura cittadine mentre agli altri tre angoli sono situati i bastioni. All'interno si accede attraverso una porta rinascimentale situata a fianco della torre di nord-est. Il cortile interno ricalca lo schema esterno e da qui si ha accesso alle sale coperte a botte o a crociera, alle carceri e all'ampia scuderia situata aul lato ovest: all'interno di quest'ultima è possibile notare la presenza di resti di un frantoio in pietra costruito alla fine del XIX secolo e poi smantellato. Da una scala posta nel cortile si accede al piano superiore riservato a dimora gentilizia. Degna di nota è l'elegante sala ennagonale, usata per scopi residenziali, nella quale spicca la presenza di un fregio figurato che copre l'intero perimetro della sala, contenente anche le effigi di Alfonso e Maria dell'Acaya.
Nel corso della ristrutturazione del castello, dal lato nord dell'antico maniero sono affiorate le tracce di una costruzione di epoca medioevale poi rivelatasi una piccola chiesa bizantina e sotto di essa alcune sepolture. Durante i lavori di restauro è stato ritrovato anche un affresco all'interno di una intercapedine. Si tratta di una Dormitio Virginis databile alla seconda metà del Trecento, estesa circa quattro metri per tre. La raffigurazione, perfettamente conservata, rappresenta gli Apostoli che assistono alla morte della Vergine e Gesù che ne raccoglie l'anima per presentarla al Padre, secondo la tradizione iconografica che fa riferimento ai Vangeli apocrifi.
