Il castello, costruito alla fine del Trecento da Giovanni Da Varano detto Spaccaferro, viene trasformato in una sontuosa villa rinascimentale (una poderosa costruzione in arenaria), nella seconda metà del secolo da Giulio Cesare da Varano.
Il lento degrado del castello inizia già nel corso del XVI secolo dopo l’annessione del ducato di Camerino allo Stato della Chiesa, quando l’intero complesso si trasforma in una semplice tenuta agricola.