La parte più antica del Castello, nato come fortezza su di un’altura, è la grande Torre, dalla quale si controllava un lungo tratto del Po (Cuneulus super Padum). Si ritiene che essa fu fatta costruire da Re Liutprando intorno al 740 d.C., allorché Pavia era capitale dei Longobardi, con lo scopo di servire da fortezza di difesa e di presidio sul Po e sulla “Via di Monte Bardone”, successivamente denominata via Francigena – Romea che collegava il Nord Europa con Roma. Re Berengario nel 910 d.C. fece dono della Rocca ai monaci benedettini dell’Abbazia di Santa Cristina, che era situata a pochi chilometri di distanza, diventandone parte integrante della stessa.

Nel 1251 l’Abate dell’Abbazia di Santa Cristina nominò un Feudatario al governo del Castello e degli estesi territori ad esso annessi. Il Castello, in poco tempo, a partire dal XIII secolo, divenne uno dei maggiori Feudi Lombardi, su cui si insediarono dapprima i Pusterla, fino a quando, nel 1340, tale famiglia fu coinvolta in una congiura antiviscontea e ferocemente sterminata.

Dal 1700 al 1730 esso fu ampliato e trasformato da Fortezza medioevale in una vera e propria Reggia settecentesca, dove soggiornarono Papi, Imperatori, Re, Principi e Arciduchi; mentre ad artisti di scuola tiepolesca venne affidata la realizzazione degli stucchi e dei dipinti che impreziosiscono le sale di rappresentanza del Castello.