Fortezza inespugnabile e prestigiosa dimora di Enrico e Federico Chiaramonte che probabilmente lo costruirono tra il 1340 e il 1350, il castello prende nome dai Conti che ne furono proprietari dal 1410 al 1812. Con la sua robusta mole, impostata su una pianta romboidale, e con le quattro torri alternate, due cilindriche e due quadrate, ha protetto la città e resistito per secoli a violenti attacchi, tra cui quello famigerato di un pirata islamico, il corsaro Barbarossa.
Sul prospetto nord resistono al tempo due originarie finestre monofore e nel cortile interno bifore e trifore. Lo scalone d'onore del castello è in marmo rosso proveniente dalle cave del Monte Bonifato.
