Venne eretto nel VI secolo dai Bizantini come fortino militare per controllare i possedimenti nella valle del Neto; venne poi nel tempo sempre più modificato da parte dei vari feudatari. A don Antonio Cavalcanti si deve buona parte di quello che oggi è visibile nel castello, dove la sua discendenza ebbe residenza stabile per due secoli. La Cappella Gentilizia del palazzo venne costruita proprio in questo periodo, parallelamente alla Cappella di S. Domenico nella Badia di S. Maria del Soccorso sempre a Caccuri, entrambe arricchite di tesori d'arte per cantare la gloria della famiglia di mecenati. Ultimi feudatari nel XIX secolo i baroni Barracco, tra i quali Guglielmo stabilì la sua dimora a Caccuri e fece costruire la splendida torre sul rivellino del castello all'architetto Adolfo Mastrigli nel 1882. La Torre Mastrigli, è il simbolo dello stemma comunale di Caccuri e rende riconoscibile il borgo anche da lontano.
