Sorse nell'XI secolo come monastero fortificato dipendente dai frati del convento di San Zeno di Verona, ai quali l'imperatore Berengario I donò una vasta area. Il castello venne ristrutturato e potenziato dagli Scaligeri agli inizi del XIV secolo, divenendo di loro proprietà e divenendo importante caposaldo del loro sistema difensivo. Il fiume Tione, che scorre a fianco, veniva utilizzato a difesa del maniero.

Nel 1391 il castello venne acquistato da Francesco I Gonzaga, signore di Mantova, che ne esaltò la struttura a difesa del suo stato da est. Dell'antico edificio si conservano ancora oggi due torri, le mura e il mastio alto 35 metri.