L'impianto originario della fortezza risale con molta probabilità all'epoca altomedioevale e dovette essere ampliato intorno alla prima metà del secolo XII, quando venne installata anche la cinta muraria difensiva dell'abitato medievale, documentata già a partire dal 1137.
In seguito al sisma del 1694 e a quello del 1732, parte del forte è adattata a dimora signorile e sfruttando le vecchie strutture del complesso difensivo viene realizzata nel settore sud una zona residenziale limitata al primo piano, mentre l'arca posta alle spalle viene sistemata a giardino pensile, recintata e dotata di terrazza con belvedere sul vallone Palombara. Uno spazio, questo, che assume un carattere di gran suggestione per il paesaggio che da esso si traguarda, la qualità dell'architettura entro cui è conformato e la composita natura del patrimonio botanico tuttora rilevabile.
L'antica fabbrica difensiva mostra alcuni tratti delle mura perimetrali d'epoca aragonese con gli originari paramenti esterni formati in qualche caso da filari di laterizi alternati a larghi specchi di ciottoli fluviali o a pietre calcaree di varia pezzatura, elementi tutti cementati da sottili strati di una malta durissima. Sia all'interno delle torri sia tra le cortine murarie interposte e i contrafforti di base si conservano ancora camminamenti e suggestivi cunicoli sotterranei voltati a botte, mentre resti del coronamento merlato guelfo s'intravedono alla sommità di alcuni tratti murari. Il castello ospita un antiquarium e un'enoteca con specialità Irpine.
