Il castello di origine normanna fu eretto nel luogo dove sorgeva probabilmente l'acropoli dell'antica Petelia. Dotato di quattro porte, presenta un impianto quadrilatero con torri cilindriche poste agli angoli. Numerosi furono i rifacimenti effettuati nel tempo per esigenze difensive, come la costruzione di nuove torri e la realizzazione di una nuova porta, che diverrà l'ingresso principale della città, protetta da una struttura difensiva detta il Bastione. Successivamente ulteriori lavori di restauro trasformarono il fortilizio in residenza nobiliare.
