Il castello fu costruito dagli Angioini: nel 1285 Bartolomeo di Capua lo dette a Carlo d'Angiò, dipendente dal centro di Gambatesa. Nel 1400 fu abitato da Costanza Chiaramonte, ex contessa di Modica, ex Regina di Napoli, in quanto sposa nel 1389 di Re Ladislao I di Napoli D'Angiò, poi ripudiata tre anni dopo. Andata nel 1395 in seconde nozze con Andrea Di Capua conte d'Altavilla, primogenito del Principe di Riccia, Luigi di Capua, venne a vivere appunto a Riccia, dove morì nel 1423. Sia Costanza Chiaramonte, che il marito Andrea ed il suocero Luigi di Capua sono sepolti a Riccia in una cappella gentilizia, all'interno della Chiesa di Santa Maria delle Grazie. Nel '500 passò a Bartolomeo III che lo trasformò in vera roccaforte militare. Però nel 1799 una sollevazione popolare distrusse la facciata del castello.
Il castello oggi è conservato in forma non integra: mancano alcune parti del recinto fortificato e alcune torri. Il cortile è ben conservato, così come il torrione e il palazzo ducale, che oggi ospita il Museo delle Arti.
