La fortezza originaria fu innalzata a difesa del vicino borgo probabilmente nel 981, per volere di Adalberto di Baden, di stirpe obertenga, che fu investito del marchesato di Pellegrino dall'imperatore del Sacro Romano Impero Ottone II di Sassonia. I suoi due figli Umbertino e Bertoldo diedero origine all'importante casata dei Pallavicino.
Il castello si sviluppa sulla vetta di un colle innalzandosi su un alto corpo a pianta rettangolare, affiancato sullo stretto lato est da un torrione quadrangolare; all'esterno si elevano alcuni tratti della cinta muraria, anch'essa articolata su un impianto rettangolare, in origine caratterizzata dalla presenza, in corrispondenza degli spigoli, di quattro torri cilindriche, di cui si conservano intatte solo quelle sul fianco est.
Le austere facciate in pietra sono caratterizzate dal marcato andamento a scarpa degli spessi muri ai primi livelli e dalla presenza di un numero limitato di piccole finestre, a testimonianza del forte carattere difensivo del maniero; sulle fronti sono inoltre visibili alcune bifore chiuse, mentre lungo il perimetro sommitale del corpo principale sono distinguibili gli antichi merli accecati.
All'interno, oltre alle numerose sale arredate con mobili d'antiquariato, sono presenti gli antichi ambienti di servizio e le prigioni, tra cui la cella in cui fu torturato e ucciso per strangolamento l'ultimo marchese Manfredo Pallavicino.
