La costruzione di Palazzo Pfanner risale al 1660. Furono i Moriconi, membri del patriziato mercantile lucchese, a commissionarlo. Travolti dal fallimento economico essi furono costretti nel 1680 a vendere l'edificio ai Controni, anch'essi mercanti della seta ascesi al rango nobiliare. I Controni si dedicarono all'ampliamento dell'edificio: intorno al 1686 sovrintesero ai lavori per la realizzazione dello scalone monumentale su progetto, si presume, di Domenico Martinelli, architetto e ingegnere lucchese noto per la sua intensa attività presso le corti europee di Vienna e Praga; ai primi del Settecento commissionarono, con ogni probabilità a Filippo Juvarra, la riqualificazione del retrostante giardino; sempre nello stesso periodo affidarono a pittori 'quadraturisti' locali l'affrescatura delle volte dello scalone e degli interni della residenza nobiliare. È nella residenza che i Controni, nel 1692, ospitarono il principe Federico di Danimarca di passaggio a Lucca nel corso del suo Grand Tour, famoso per il "flirt" con la giovane locale Maria Maddalena Trenta.
La residenza di Palazzo Pfanner, unica parte del palazzo attualmente visitabile, racchiude al suo interno un ampio salone centrale affrescato negli anni venti del Settecento dal quadraturista Pietro Paolo Scorsini, da cui si dipartono sale laterali arricchite da mobili d'epoca, pregiate suppellettili, oggetti sacri e una trecentesca statua lignea raffigurante l'arcangelo Michele. La residenza ospita un'esposizione permanente di strumenti medico-chirurgici e antichi testi di medicina appartenuti a Pietro Pfanner (1864-1935), chirurgo, filantropo e sindaco di Lucca dal 1920 al 1922.
Il giardino si sviluppa tra l'attuale palazzo a sud e le mura urbane a nord, come già si può vedere nella carta del Sinibaldi del 1843. Superato il cancello d'ingresso si apre una zona pavimentata in pietre squadrate, in cui sono posti quattro vasi in terracotta con piante di cycas, che delimitano il percorso di accesso al giardino. Questo è suddiviso geometricamente in sette ampi spazi rettangolari delimitati da vialetti rettilinei. L'area verde di fronte al palazzo è suddivisa in quattro zone erbose, bordate da siepi di bosso e alloro, con al centro una vasca ottagonale, decorata con quattro statue allegoriche raffiguranti gli elementi: Vulcano (fuoco), Mercurio (aria), Dionisio (terra) e Oceano (acqua). Vicino al palazzo sono ubicate invece le statue dell'allegoria delle quattro stagioni.
