Il Palazzo è stato la residenza estiva di due cardinali appartenenti alla Famiglia Buonvisi, Girolamo e Francesco.
I Buonvisi, potente famiglia di nobili e mercanti lucchesi, discendono da un consigliere di stato dell'Imperatore che si stabilì a Lucca verso il 900.
Realizzarono la loro fortuna con il commercio della seta e la gestione di banche arrivando a divenire la famiglia più ricca di Lucca.
