Il castello fu possesso della famiglia Canigiani e risulta conosciuto sin dal 1252, secondo alcuni antichi manoscritti che lo menzionano e che sono conservati nella vicina Badia di Passignano.
Questo fortilizio è stato segnato, nel corso dei secoli, da una serie di incursioni a cui ha sempre resistito. Nel 1320 il castello fu ampliato raggiungendo dimensioni più ampie di quelle attuali. Alla fine del '600 fu ceduto ai baroni Miniati, che lo trasformarono in villa arricchendolo di opere d'arte.
Quello che vediamo oggi del Palagio è frutto di un restauro iniziato nel 1910 dall'architetto Giuseppe Castellucci, che seguendo la moda del tempo ha praticamente reinventato il castello in stile neomedievale. Tutta la struttura fa perno sulla torre con la merlatura di stile guelfo e sul bel cortile centrale sul quale si affaccia una loggia coperta.
