Il castello nacque forse come guardingo del quale resta una torre merlata del Duecento e fu costruito tra la fine del XV secolo e gli inizi del XVI. In seguito si trasformò in una cosiddetta casa da signore, per poi divenire nel Seicento una classica villa con fattoria toscana circondato da un giardino all'italiana.
Nel castello, proprietà della nobile famiglia fiorentina Da Verrazzano, nacque nel 1485 l'illustre esploratore e navigatore Giovanni da Verrazzano. Al castello è annessa una cappella in cui si trova una tavola del Ghirlandaio, l'Eterno Padre.
