Il castello trecentesco venne edificato in forme semplici attorno ai resti di una torre innalzata nel 1181 da Gentile da Palearia, signore della contea di Albe espugnata nel 1364 da Francesco del Balzo, duca di Andria. Conformato ad una rocca per volontà di Gentile Virginio Orsini fu concepito, come si legge in un'iscrizione posta sul portale ogivale, come fortilizio Ad exitum seditiosis Avejani, ovvero come monito da eventuali rivolte della popolazione avezzanese. Il maniero venne progettato con ogni probabilità dall'ingegnere militare Francesco di Giorgio Martini, in quegli anni al servizio degli Orsini ed autore documentato dell'intervento al vicino castello a pianta triangolare di Scurcola Marsicana.
La facciata del castello è piana e tratteggiata in due livelli dal redondone che percorre la cortina muraria e i torrioni. Il portale centrale è rettangolare ed è decorato ai lati della porta da due file di piramidi minute, e più all'esterno da due figure in bassorilievo, a grandezza d'uomo, di un cinghiale rampante e di un orso brandente una spada, simboli delle famiglie Orsini e Colonna. Al centro è collocato invece lo stemma dei principi Colonna. I simboli sono sormontati lateralmente da una lapide recante le imprese dei duchi Orsini nella presa del feudo di Avezzano.
Il secondo livello è scandito da due ordini di due finestre, con una centrale sopra il portale. Attorno alla facciata vi è il fossato prosciugato che circonda tutto il castello, e il portale è collegato alla terraferma da un ponte levatoio. Sulla sinistra della facciata, fino al punto focale del centro, resta la decorazione in merlatura guelfa e in beccatelli, di cui buona parte andò persa con il terremoto del 1915.
Le quattro torri perimetrali del castello sono conservate in buona parte. Originalmente erano in tre livelli, suddivise da cornici, ma dopo il grande terremoto solo la torre della facciata a sinistra conserva parte della muratura ornativa con beccatelli e merlature. Le torri sono di forma circolare. L'interno è andato quasi completamente distrutto con il grande terremoto. Originalmente aveva un piano superiore, ossia la residenza gentilizia dei Colonna. Parte dell'interno ha ospitato la collezione d'arte moderna e contemporanea della pinacoteca. Sul lato destro del castello, rispetto alla facciata, si può accedere mediante il secondo portale.
