La costruzione del palazzo venne avviata verso il 1480 dal cardinale Domenico Della Rovere, affidandosi forse a Baccio Pontelli. Il nome attuale venne aggiunto al tempo di papa Alessandro VII quando vi trasferì quei confessori con particolari poteri di assoluzione detti appunto penitenzieri.
La facciata imponente riprende quella di palazzo Venezia, con una torretta a sinistra (il cui coronamento è però un ripristino recente) e con finestre crociate che riportano il nome del cardinale fondatore, mentre quelle rettangolari al primo piano hanno iscritto il suo motto. Ai lati del basamento si trovano due fontanelle col drago araldico di papa Paolo V, mentre lo stemma che campeggia sulla facciata è quello di papa Clemente XIV.
Gli ambienti sono organizzati attorno a un ampio cortile centrale, che ha una singolare disposizione su due livelli: uno inferiore, circondato da portici su pilastri ottagonali e con al centro un pozzo, e uno superiore, tenuto a giardino murato.
Numerosi sono gli affreschi, spesso con finte architetture. Al piano nobile nell'ala sinistra si trova una galleria con affreschi cinquecenteschi, mentre nell'ala destra, visitabile su richiesta dell'ordine gerosolimitano, si trova il salone con il cosiddetto Soffitto dei Semidei, una serie di lacunari dipinti e dorati con figure mitologiche e allegoriche di Pinturicchio (1490). La cappella privata è coperta da volta a botte divisa in riquadri con gli stemmi Della Rovere e Alicorni
