Dalle carte rintracciate dall'archivio dei Rossi si sono recuperate delle piantine che consentono di ricostruire abbastanza fedelmente la struttura originaria della rocca. Dalla piazza antistante, grazie al ponte levatoio costruito su tre arcate in muratura, si accedeva all'ingresso che consisteva in un lungo corridoio che sfociava nella Corte Grande; prima del termine del corridoio si accedeva sulla destra all'oratorio di Santa Caterina di Alessandria. Nell'oratorio vi era un unico altare mentre sui lati sud ed est erano ricavati alcune tribune che consentivano ai Rossi di seguire le funzioni religiose, l'altare era sormontato da un quadro dipinto ad olio.
Nella cripta dell'oratorio vi erano le sepolture dei marchesi, delle rispettive consorti e dei familiari. Sulla sinistra, invece, al primo piano vi erano il teatro di corte, il palco e l'anticamera del teatro che insisteva sull'ingresso. Il teatro consisteva in un camerone plafonato dotato di palco, logge, posti a sedere e vari scenari ed era affiancato da un'anticamera e insisteva sull'antica limonaia. A fianco del mastio, semi-interrate, vi erano le prigioni, la cui demolizione iniziò nel 1883. Dall'altro lato del mastio vi era un cortile interno con pozzo, che è ancora oggi visibile presso il nuovo ingresso ricavato fra il mastio e il resto della struttura rimasta.
La configurazione attuale del castello può vantare un ragguardevole apparato decorativo per un totale di oltre 3000 m2; i locali affrescati, tutti incentrati al piano nobile, il cui accesso è garantito grazie all'imponente scalone cinquecentesco posto al termine del cortiletto d'onore, costituiscono quello che resta oggi della zona residenziale e della zona di rappresentanza giunte sino ad oggi praticamente integre. Alla sua decorazione lavorarono artisti allievi di Raffaello e Giulio Romano, Cesare Baglioni, Orazio Samacchini, Francesco Zanguidi detto il "Bertoja", Ercole Procaccini, Vincenzo Tamagni e Giovanni Antonio Paganino.
