E' un esempio tra i più interessanti di architettura castellana trentina, la struttura civile-militare è tipicamente gotica ed è circondato da un complesso sistema di fortificazioni formato da torri, bastioni lunati, fossato e cammino di ronda; imponente la "porta spagnola" (1566) costruita con massicci conci bugnati disposti a raggiera. Le fortificazioni centrali sono a pianta quadrangolare con forti baluardi per la difesa con armi da fuoco, quattro torri quadrate agli angoli e, dopo il fossato, altro muro con feritoie a strombo profondo e due medievali torri merlate.

Oltrepassata la porta del ponte levatoio (1541) e superato il primo cortile, a sua volta percorso sul lato settentrionale da un lungo colonnato, formato da diciotto poderose colonne di pietra, si incontra l'ingresso del palazzo comitale. Al piano terra si trovano le stanze pubbliche, mentre al primo piano si trovavano le stanze dei signori. Fra le numerose sale, ancora riccamente arredate, la più pregevole é la "stanza del vescovo", interamente rivestita di legno di cirmolo, con il soffitto a cassettoni e una porta monumentale (1574), abitata dal principe-vescovo Sigismondo Alfonso Thun.