Mancano dati certi sulla datazione del castello ma ipotesi la riconducono tra il X e l'XI secolo nello stesso periodo in cui alcuni paesi incominciarono a rifugiarsi in cocuzzoli e costruendo castelli. Anche i primi secoli di vita del castello sono bui, ma fonti lo vogliono possesso degli Orsini (da cui il nome) nel 1235. Tale famiglia rinforzò il castello elevando le torri angolari e circoscrivendo il castello con un muro.
L'aspetto esterno è romanico-medievale. Un muro di cinta esterno con merlatura si erge da un fossato. Il castello vero e proprio consta di quattro torri angolari di cui una circolare ed una quadrangolare entrambe con merlature e risulta molto più alto e maestoso delle mura esterne.
Il castello è oggi una struttura ricettiva, all'interno sono presenti nove sale conferenze, per una capienza complessiva di 360 posti, una delle quali può ospitare 200 persone.
