Il Castello appartenne alla Famiglia dei Paganelli, prima vassalli dei Brunforte di Roccacolonnalta poi dei Varano da Camerino. Nel XIII secolo diventa di proprietà dei Varano. E' costituito da tre cinte murarie, ed è un luogo incantevole che vi regalerà panoramiche visioni.
