Le notizie del castello sono frammentarie, soprattutto sulla sua origine e sulle sue sistemazioni. L'unica antica descrizione del castello rinvenuta dagli archivi è quella del 1633 di Scipione Paternò. Tuttavia si può affermare che il castello si è sviluppato da una torre preesistente detta "dell'Ulivo" in stile duecentesco ed in seguito di trasformazioni nel corso dei secoli, trasformazioni avvenute a partire dal XV secolo. Il castello cambiò così forma da struttura difensiva ad architettura abitativa. Le aggiunte si divisero in due stadi di cui il primo comprende l'edificazione di il loggiato meridionale ed il corpo di fabbrica occidentale, mentre il secondo comprende il loggiato superiore ed il piano nobile della fabbrica adiacente. L'aggiunta di un livello superiore nei corpi di fabbrica eliminò la merlatura preesistente. La quarta torre venne distrutta nel 1881 da un terremoto e fu ricostruita nel 1904. Nel restauro non sono stati ricostruiti la chiesetta di San Rocco, adiacente al castello, completamente distrutta, e l'ampio giardino ducale, il cui spazio è stato ridotto dalla costruzione di una scuola elementare.
Il castello è sito su di un colle tra i due fiumi Arielli e Rifago. Il castello è composto da quattro torri angolari che racchiudono altrettanti corpi di fabbrica, La torre originaria di sud-ovest è la più grande di tutt'e quattro, è realizzata con blocchi di pietra sbozzata ed è suddivisa in tre livelli, di cui il pianterreno è rialzato.
L'interno venne danneggiato dai bombardamenti del 1943, e dunque interamente ricostruito negli anni '60 fedelmente all'originale, è privo degli arredi originali. In quanto bene pubblico, negli anni '80 ospitò la sede Municipale poi trasferitasi in altro luogo, lasciando spazio al nascente Museo dell'Abruzzo Altomedievale e Bizantino di cui è sede. Nella stanza precedente l'accesso alla torre normanna si conserva un letto a baldacchino simile a quello originario dei Duchi di Bovino, insieme a questo una cassapanca entrambe di provenienza esterna al castello, quivi collocate per ricostruire l'ambiente dove dormì Vittorio Emanuele III. Una collezione di fotografie immortala le visite varie del Principe Umberto II negli anni '30, nonché la famiglia reale sfollata nel 1943. Il resto delle sale è piuttosto spoglio, contenenti le teche dei reperti archeologici. Solo la torre De Riseis, presso l'ala grande del piano terra, conserva una volta a botte con stucchi tardobarocchi.
