Edificato nell'XI secolo con quattro torri angolari forse su un castrum (o un vicus) romano, è stato sempre considerato strategico dal punto di vista difensivo e militare, in quanto dotato al suo interno di alcune abitazioni. Intorno al 1030 l'imperatore Enrico II assegnò la contea di Desenzano e con essa il castello al conte rurale Bosone I.
Alla fine dell'Ottocento passò in proprietà allo stato ed ospitò un presidio militare nel quale trovarono posto alpini e bersaglieri. Nel 1969 divenne di proprietà comunale e ospita nelle sue sale mostre, convegni e anche matrimoni civili.
La parte più avanzata della torre d'ingresso porta ancora i segni di un ponte levatoio non più esistente.
Si consiglia di verificare la corrispondenza degli orari di apertura contattando direttamente la struttura.
