L'edificio fu costruito tra il 1657 e il 1677 su progetto dell'architetto Giovanni Antonio De Rossi per conto dei marchesi Giuseppe e Benedetto d'Aste. Poco si sa della storia del palazzo negli anni successivi fino al 1760, quando quest'ultimo passò al nobile fiorentino Folco Rinuccini, terzo marchese di Baselice.
Nel 1818 la proprietà fu acquistata, al prezzo di 27 000 piastre d'oro, da Maria Letizia Ramolino, madre dell'Imperatore francese Napoleone Bonaparte, che vi dimorò fino alla morte nel 1836. Ramolino era solita accomodarsi nel balconcino laterale per ammirare il passaggio delle carrozze nell'allora piazza San Marco, ricorrendo all'aiuto di una dama da compagnia al sopraggiungere della cecità.
Tra il 2017 e il 2019 attraverso il programma Valore e Cultura, in seguito ad un intervento di restauro e riqualificazione del palazzo, vi stabilisce la propria sede Arthemisia, azienda attiva nel settore dell'organizzazione di mostre.
Le sale dell'appartamento nobile sono decorate da affreschi e stucchi settecenteschi, commissionati dai Rinuccini.
