L'attuale castello venne costruito sulla base di una precedente fortificazione altomedievale. Di proprietà viscontea (ramo Visconti di san Vito di Somma Lombardo, la struttura viene distrutta dalle truppe svizzere di Matteo Schiner nel 1510 e in seguito ricostruita a partire dal 1620 dal marchese Cesare II Visconti e dal figlio Cesare III. Della struttura originaria sopravvive un trecentesco oratorio dotato di finestre ogivali e archetti a tre lobi.
Nel 1716 un nobile trentino della famiglia Castelbarco sposa Costanza, figlia di Cesare III e ultima discendente dei Visconti, diventando così proprietario della dimora. Al marito di Costanza, Carlo Francesco Castelbarco, si devono una serie di modifiche architettoniche che danno al castello l'aspetto attuale: un corpo di fabbrica a forma di "C" aperta verso sud-est, con due ali laterali, munito di due torri (di cui una pentagonale) a merlatura ghibellina.
La facciata rivolta verso il cortile meridionale, dotata di porticato, ha l'aspetto di dimora signorile. La porzione dall'aspetto tipicamente castellano si affaccia invece sui giardini nord-occidentali. Due cancelli sette/ottocenteschi in ferro battuto fronteggiano le facciate est ed ovest. Internamente, il castello ospita stanze affrescate nelle quali trovano posto mobili barocchi e ottocenteschi.
Attualmente il castello è abitato dagli eredi delle famiglie Quarta e Castelbarco e non è visitabile.
