L'edificio, testimoniato per la prima volta nel 1187, sembra essere stato costruito sui resti di una struttura medioevale più antica con funzione fortificativa. Utilizzato come residenza di ecclesiastici e nobili vescovi, ora è sede di mostre artistiche e cuore culturale del paese. L'edifico oggi si presenta come un edificio dalle forme gotiche e caratterizzato dalle tonalità giallastre tipiche della pietra tenera di Nanto. Nel corso della sua lunga storia la struttura ha subito parecchie alterazioni, ben visibili sono i ritocchi rinascimentali e barocchi.