Al posto di un fortilizio distrutto, Nicolò Angeli Bufalini, figlio del priore di Città di Castello, Manno, erede del capostipite della stirpe Giovan Pietro, incaricò, nel 1487, l'architetto romano Mariano Savelli di progettare la costruzione di una fortezza quadrata con quattro torri di avvistamento.
La destinazione militare dell'edificio, però, durò poco: il conte di San Giustino Giulio I, nel 1530, incaricò il fiorentino Nanni Unghero, allievo di Antonio da Sangallo il Giovane, di elevare, al posto del forte, una dimora residenziale gentilizia con ariose logge e portici di gusto vasariano: vi risiederà, nell'ambito di una piccola corte, con le tre mogli che si avvicendarono, Giovanna di Bourbon del Monte, Elisabetta di Montevecchio e Francesca Turina che assicurerà la discendenza.
I fratelli Bufalini, Ventura e Giulio I, amanti dell'arte e secondo le tendenze dell'epoca, vollero che fosse il pittore manierista borghese Cristoforo Gherardi ad affrescare, con soggetti mitologici, le varie stanze del castello, tra cui la Sala del trono. La maggior parte delle residenze nobiliari disponevano, infatti, di un trono scolpito e dorato, indispensabile nel caso di una visita del Papa.
Alla fine del secolo XVII, i conti Filippo I e Anna Maria di Bourbon di Sorbello, spesso residenti nel palazzo di Città di Castello, desiderarono rinnovare il maniero sottolineandone la vocazione di dimora di campagna (conformemente alle propensioni del tempo, circa il possesso di una villa fuori porta da parte delle grandi famiglie): l'artista locale Giovanni Ventura Borghesi modernizzò il complesso, a tal fine, creando anche un bellissimo giardino all'italiana.
