L'originario castello fu edificato nella prima metà dell'XI secolo dal fondatore di Contignaco, il marchese Adalberto I degli Obertenghi, capostipite della casata obertenga-adalbertina del ramo dei Pallavicino; al 1030 dovrebbe infatti risalire l'alta torre che tuttora svetta accanto all'ingresso.
Il castello, posizionato sulla sommità di un colle, si sviluppa su una pianta regolare attorno a un cortile interno quadrato. Le facciate in pietra, frutto di numerose ricostruzioni compiute nei secoli, sono caratterizzate dalla scarsità di finestre, ad eccezione del lato orientale, accentuando la severità del complesso; accanto al grande portale d'ingresso, si eleva in aggetto il mastio medievale a pianta quadrata, alto più di 30 m, in posizione dominante sulle vallate circostanti.
Intorno al castello si sviluppa un vasto parco ricco di alberi secolari, tra cui numerose querce, cedri, cipressi e allori; l'esemplare più antico è la possente quercia ultracentenaria, del diametro di oltre 2 m, che si innalza in prossimità dell'ingresso della struttura.
