Il palazzo originale, sede della dogana, fu costruito nel 1905 ma l'abbattimento del 1916 portò alla costruzione dell'attuale edificio in stile eclettico neomedievale per divenire fino al 1964 sede dell'Intendenza di finanza, del catasto e della dogana. Per queste sue funzioni ottenne l'appellativo «delle Paure». Il piano terra è caratterizzato per tutto il perimetro da un bugnato che conferisce maestosità alla parte basamentale. Il lato nord è contraddistinto da una leggiadra torre rettangolare costruita intorno al 1926 in cui è incastonato uno stemma dei Visconti proveniente dal vicino Pretorio feudale oltre ad una trifora rivolta verso piazza Cermenati. Dopo essere stato utilizzato per alcuni anni come sede scolastica il palazzo è stato completamente ristrutturato per poi essere inaugurato come sede museale il 6 ottobre 2012.
