Il Palazzo costruito per volere della famiglia Pavesi, che nel corso degli anni acquistò più unità abitative adiacenti con lo scopo di creare un Palazzo in centro città che rispecchiasse l’importanza della famiglia. Nel 1688 Lorenzo Pavesi fa il primo acquisto: compra il vecchio palazzo dei Conti Belmesseri, comprese tutte le botteghe, i fondi e l’orto, collocato tra la casa ed il fiume Verde che passa dall’antico ponte della Cresa. Successivamente vengono acquistate anche le strutture adiacenti tra cui Casa Capi.
Nel 1708 per volere di Lorenzo iniziano i lavori di restauro che verranno documentati per tutta la durata dei lavori. La ristrutturazione più importante si ha però tra il 1734 ed il 1743 grazie ai fratelli Giuseppe, Francesco e Paolo, figli di Lorenzo.
Il Palazzo è interamente affrescato da Giovan Battista Natali e dai suoi aiuti, compreso il nipote Antonio Contestabili. La galleria è dipinta come un cortile colonnato, in quanto l’Architetto, vincolato dalle preesistenze, non può realizzare nel palazzo un’adeguata galleria, luminosa e dotata di finestroni in affaccio sul cortile.
