La costruzione del Palazzo Baronale è attestata alla seconda metà del XIII secolo e risale alla dominazione degli Orsini, intervenuti sulla Valle del Licenza a partire già dalla seconda metà del XII secolo.
Il Palazzo si articola intorno ad una corte chiusa di forma quadrangolare con una serie di volumetrie abitative di periodi diversi; tra queste, spicca l'alto mastio quadrato, sicuramente precedente agli ultimi lavori sulle strutture rimanenti, che potrebbero essere collocate tra il XV ed il XVII secolo. Ne sono testimonianza le finestre rinascimentali, attualmente tamponate, degli edifici a destra di chi entra e la parte più conservata del Palazzo Baronale, che si erge su due piani poco oltre il torrione. La sua attuale conformazione è dovuta agli interventi edilizi di Roberto Orsini e di suo figlio Mario, Vescovo di Bisignano ed in seguito di Tivoli. I loro lavori furono effettuati nell'arco del XVII secolo e previdero affreschi a tema profano eseguiti dal pittore Vincenzo Manenti (1600 - 1674). Attualmente l'edificio ospita una foresteria adibita a Eco Albergo e il Museo Oraziano.
