L'edificio principale è una costruzione eclettica in stile moresco ed è stata edificata nel 1605 per volere degli Ximenes D'Aragona. Successivamente è passato in eredità a Ferdinando Panciatichi Ximenes che lo riprogettò tra il 1853 e il 1889. Nel corso del 1878 ospitò anche il Re d'Italia Umberto I.
Nel dopoguerra è stato adibito ad hotel di lusso, mentre attualmente, nonostante la vendita all'asta del 1999 ed alcuni urgenti lavori di restauro, è in stato di abbandono. Nell'aprile del 2012 però si è costituito il Comitato FPXA 1813-2013 (FPXA è l'acronimo di Ferdinando Panciatichi Ximenes d’Aragona) che ha tra le proprie finalità quella di promuovere e valorizzare il castello di Sammezzano.
