Tra il 1811 e il 1814 la grande area antistante alla chiesa di San Francesco fu denominata piazza Napoleone o foro Bonaparte. Il maire di Pistoia, Francesco Tolomei, sostenne pertanto la necessità di promuovere il riassetto della piazza, dando incarico all'ingegnere Antonio Gamberai e al pittore Barlomeo Valiani di approntare i primi interventi, ma i lavori furono subito interrotti.

Il progetto fu rivisto da Cosimo Rossi Melocchi, che nel 1811 presentò il disegno di un grande spazio in cui confluirono le suggestioni del neoclassicismo d'ispirazione illuminista francese.

Rossi Melocchi ideò un impianto caratterizzato da una gradinata scenografica, che aveva il compito di collegare la piazza ellittica della chiesa di San Francesco col parterre superiore, regolarizzando il fondale verso le mura cittadine con un corpo di fabbrica a pianta triangolare. Quest'ultimo doveva essere costituito da un lungo basamento a bugnato, sormontato per tutta la sua lunghezza da un timpano triangolare, con un portico centrale che dava accesso all'emiciclo voltato dedicato alla memoria degli uomini illustri pistoiesi.

Le massicce colonne d'ordine dorico senza basamento, il timpano senza cornice e la totale nudità delle pareti mostrano un'adesione ai temi dell'architettura rivoluzionaria di Étienne-Louis Boullée e Claude-Nicolas Ledoux, facendo del progetto del Pantheon un manifesto del classicismo illuministico in Toscana.

I lavori, iniziati nel 1812, vennero interrotti nel 1813, per essere portati avanti in forme ridotte e romanticheggianti, fino alla conclusione dell'opera, avvenuta nel 1827. Nel mutato scenario socio-politico del Granducato di Toscana, la struttura fu trasformata in un caffè-concerto, che raccolse un notevole successo tra i cittadini. Tuttavia, agli inizi del Novecento il locale fu chiuso e, rimasto in disuso, fu abbandonato a se stesso.