In seguito al restauro del 1997 sono emerse le strutture di un edificio precedente al castello dei Ventimiglia, voluto nel 1317 dal conte Francesco I Ventimiglia. L'edificio attuale è il risultato di numerosi rifacimenti, che rendono difficile la ricostruzione del suo originario aspetto. A semplice pianta quadrangolare, mostra all'esterno un misto di stili che in quel periodo influenzavano tutta l'architettura siciliana. Il volume a cubo richiama lo stile arabo; le torri angolari quadrate riecheggiano quello normanno; la torre rotonda si rifà invece alle costruzioni militari sveve. Nel terremoto degli inizi del XIX secolo scomparvero i merli, della forma ghibellina, a coda di rondine, ed inoltre mura di cinta, torri ed archi, oggi andati in rovina. Alcune strutture difensive del XIII secolo e alcuni ambienti del XIV secolo sono invece rimasti intatti.
All'interno le ricche sale hanno i soffitti a cassettoni scolpiti e decorati, e finestre e portali di stile gotico (soffitto ligneo quattrocentesco della “Sala Magna” decorato e poggiante su mensole scolpite). Al XV secolo risalgono inoltre le prime ristrutturazioni, in conseguenza del trasferimento al castello della reliquia di Sant'Anna, poi proclamata patrona della città.