La raccolta della Pinacoteca nacque nel XIX secolo, quando Milano aveva già due importanti pinacoteche (l'Ambrosiana e Brera) e se ne andava formando una terza, il futuro museo Poldi Pezzoli. Rispetto a queste altre realtà la Pinacoteca del Castello nacque come museo cittadino per antonomasia, luogo di raccolta delle memorie illustri della città. Per questo quasi tutte le opere esposte provengono o da Milano o da collezioni artistiche di cittadini milanesi, come la celebre collezione Trivulzio, acquistata con una sottoscrizione cittadina nel 1935.

Tra le donazioni di cittadini illustri, patrioti, studiosi e amatori si contano quelle di: Antonio Guasconi (1863-1865), i fratelli Attendolo Bolognini (1865), Malachia De Cristoforis (1876), Camillo Tanzi (1881), Francesco Ponti (1895), ecc. La collezione è inoltre stata continuamente arricchita da donazioni, depositi regionali e acquisti, come le opere di Canaletto e Bellotto tra il 1995 e il 1998.

L'ultimo allestimento (Mauro Natale, Laura Basso, Valter Palmieri), completato nel 2003, ha arricchito la galleria di opere di scultura, oreficeria e medaglistica, in stretta relazione con i dipinti e la loro epoca.