La storia del Castello è legata alla famiglia Colonna che nel corso del tempo, grazie ad ampliamenti, modifiche e opere di abbellimento, ha trasformato il Castello da semplice fortezza difensiva in residenza padronale di grande rilievo artistico e architettonico. Risale al 1053 il passaggio ai Colonna che realizzarono una prima roccaforte, mentre solo intorno al XIII secolo furono avviati i lavori per adibire la struttura ad avamposto difensivo.
Importanti trasformazioni avvennero con Ottone Colonna, divenuto Papa nel 1417 con il nome di Martino V, che fece restaurare la parte ovest del castello per adibirla a sua residenza. Sotto il suo pontificato, si ebbero importanti trasformazioni urbane e il Castello abbandonò definitivamente le sue origini di rocca militare per trasformarsi in lussuosa dimora signorile.
Grandi cambiamenti furono apportati poi da Filippo I Colonna, Signore di Genazzano, tra il 1611 e il 1639. Gli interventi più importanti riguardarono la sopra-elevazione dell’ala orientale e il rifacimento del torrione nord-est, in cui fu inserito il suo appartamento privato, con una cappella affrescata dal pittore Marzio Ganassini nel 1616.
