Il Castello di Levizzano risalente alla fine del IX sec. Si presentava come un semplice insediamento fortificato. Nel corso dei secoli ha subito vari rimaneggiamenti, trasformando l'antico fortilizio a residenza nobiliare.
A partire dal XIII secolo vennero apportate una serie di modifiche e ampliamenti trasformando l'antica rocca difensiva in un palazzo feudale. Risale probabilmente allo stesso periodo, la costruzione di una galleria sotterranea, oggi sede dell'Enoteca Comunale, che unisce il Palazzo alla Torre.
Intorno al XVI sec., gli edifici subirono importanti trasformazioni: venne assumendo più importanza la funzione residenziale. Risalgono infatti a questo periodo le cosiddette "Stanze dei Vescovi", il cui soffitto ligneo è decorato con un ciclo di affreschi rinascimentali.
