L’edificio venne edificato per la famiglia toscana dei Calcagni probabilmente nei primi anni del ‘500. Da loro passò ai Del Bene i quali nel 1533 lo cedettero a Monsignor Fabio Arcella vescovo di Bisignano e stretto collaboratore di Clemente VII. Da lui l’immobile passò poi all’antica famiglia fiorentina dei Gaddi a cui apparteneva il famoso Taddeo allievo di Giotto. Nel 1542 passò a Costanza Farnese (1500-1545), figlia naturale di Paolo III. Nel 1577 venne infine acquistato dal cardinale Giulio Ricci che oltre all’edificio principale acquistò anche altre pertinenze per arrivare alle dimensioni che vediamo.
La facciata su piazza Ricci, dipinta intorno al 1525 da Polidoro da Caravaggio e Maturino Fiorentino, è l’unico esempio di facciata a gomito presente a Roma. Presenta un portale tra finestre architravate chiuse da inferriate su un lato, e due porte da rimessa ad arco bugnato sull’altro. Al primo piano sette finestre architravate, al secondo finestre ad arco con ai lati le armi dipinte dei Farnese e dei Ricci. All’attico finestrelle incorniciate e figure di armi e trofei. Al di sotto delle finestre del primo piano corre un fregio con figure di prigionieri, trofei e scene storiche dedicate alla grandezza dell'antica Roma. Alla fine dell’Ottocento la decorazione dipinta fu restaurata da Luigi Fontana (1827-1908), il quale aggiunse anche la decorazione del secondo e del terzo piano.
