Fu costruito nel 1540 per il cardinale Girolamo Recanati Capodiferro (1501–1559). L'architetto fu Bartolomeo Baronino da Casale Monferrato, mentre una squadra di lavoro coordinata da Giulio Mazzoni creò i sontuosi stucchi sia dell'interno sia degli esterni. Il palazzo fu comprato nel 1632 dal cardinale Bernardino Spada, il quale incaricò Francesco Borromini di modificarlo secondo i nuovi gusti dell'epoca, propendenti per lo stile barocco.
Borromini creò, tra l'altro, il capolavoro di trompe-l'œil della falsa prospettiva nell'androne dell'accesso al cortile, in cui la sequenza di colonne di altezza decrescente e il pavimento che si alza generano l'illusione ottica di una galleria lunga 37 metri (mentre è di 8); in fondo alla galleria, in un giardino illuminato dal sole, si trova una scultura che sembra a grandezza naturale, mentre in realtà è alta solo 60 centimetri.
Le decorazioni scultoree in stucco manieristiche della facciata del palazzo, ispirate a quelle di Palazzo Branconio dell'Aquila, e del cortile, con sculture all'interno di nicchie incorniciate da ghirlande di fiori e frutta, grottesche e scene di significato simbolico in bassorilievo fra le piccole finestre del mezzanino, ne fanno la più ricca facciata del Cinquecento romano. Le statue del primo piano rappresentano Traiano, Pompeo, Fabio Massimo, Romolo, Numa Pompilio, Marco Claudio Marcello, Giulio Cesare e Augusto. Le loro imprese sono narrate in otto grandi riquadri che si alternano alle finestre dell'ultimo piano.
Il palazzo ospita, al primo piano, un puazo in argento in un salone attiguo alla sala delle Quattro stagioni, anche una colossale scultura di Pompeo Magno, ritenuta essere quella ai cui piedi cadde Giulio Cesare.
