La struttura, circondata da fossato con ponte levatoio funzionante e rivellino, si erge isolata nella pianura bresciana. Il castello, che domina il piccolo paese, è composto da 130 stanze su una superficie di 4000 m². La costruzione del castello avvenne per opera dei Martinengo, famiglia di provenienza bergamasca, fedeli alla Repubblica di Venezia, in origine chiamata dei “Giselbertini”, che dal X e l'XI secolo si cominciò a nominare con l'appellativo “da Martinengo” poiché residente nel castello di Martinengo, nella pianura bergamasca.
Il castello, edificato alla fine del XIV secolo da Bernardino Martinengo è a pianta quadrata con quattro torri angolari di difesa. Nel cortile interno sorge un loggiato sul lato Ovest a pilastri tipicamente cinquecentesco sui quali campeggiano gli stemmi delle famiglie Martinengo e Colleoni, famiglia quest'ultima imparentata coi Martinengo. Del Cinquecento sono il grande salone del lato Est e il porticato del lato Sud e, dell'interno, i soffitti a vela o a botte e i soffitti lignei a cassettoni riccamente decorati.
La struttura ha subito notevoli rimaneggiamenti nel tempo. Nel Settecento il castello subì un importante rinnovamento architettonico e di funzione. L'allora conte Gerolamo Silvio convertì il maniero in un'elegante villa signorile secondo lo stile dell'epoca. A questo periodo si deve la realizzazione dello scalone settecentesco, opera del celebre architetto Giovan Battista Marchetti (1686-1758), dal 1758 direttore della costruzione del duomo nuovo di Brescia. Si realizzarono inoltre una splendida sala da ballo, la cappella dedicata a San Faustino e Giovita. Il prospetto esterno sui lati Nord e Est venne ingentilito con balconcini in pietra e ringhiere in ferro battuto, mentre sul lato Sud venne aperto un ampio portale centrale da cui si accede l'accesso al giardino sul fossato.