Situato su un ciglione a ridosso del fiume Olona, il castello ha sempre avuto un'importante funzione difensiva sin dai tempi del primo nucleo, probabilmente di epoca romana, in quanto collocato in una valle che rappresentava una naturale via di collegamento la la Svizzera e il territorio milanese. Fa parte di una serie di fortificazioni che seguono il percorso del fiume: tra queste si ricordano, ad esempio, quelle di Castelseprio e di Castiglione Olona. Il castello di Fagnano Olona è anche considerato l'antemurale di Castelseprio ed è citato nelle lotte che intercorsero tra i Torriani e i Visconti.
Uno dei primi documenti che testimoniano con certezza l'esistenza del castello, è quello prodotto nel 1257, quando la fortificazione divenne proprietà dei Visconti. Fu in quell'anno che Martino della Torre, Capitano del popolo di Milano, giunse con le sue milizie a Fagnano, dove cercò di conquistare il castello dei rivali Visconti, che però resistette all'assedio.
Quando il contado del Seprio passò definitivamente al dominio visconteo, il castello di Fagnano fu tenuto dal ramo della famiglia che fu successivamente noto come Visconti di Fagnano. Il loro feudo fu successivamente diviso in due parti: una affidata al ramo famigliare di Giovanni Visconti di Gasparo, che diede vita ai Signori di Fagnano, i quali si estinsero nel 1514; l'altra andò invece ai discendenti di Azzo Visconti, fratello di Giovanni, che formarono il ramo dei Visconti di Ierago. Ai primi, Signori di Fagnano, fu affidato il castello, mentre i secondi andarono ad abitare presso il "Castellazzo" di Fagnano Olona.
l castello di Fagnano nel 1451 fu affidato da Francesco Sforza a Filippo Maria Visconti, conte di Albizzate, e gli venne confermato nel 1470 da Galeazzo Maria Sforza, il quale frequentò il castello in alcune occasioni, tra cui una battuta di caccia documentata nel 1474. Nel XVI secolo il castello fu coinvolto nelle lotte che nel territorio gallaratese videro contrapposti ducali, spagnoli e truppe francesi.
L'imperatore Carlo V d'Asburgo nel 1551 concesse il titolo di Conte di Fagnano a Vitaliano Visconti Borromeo. I lavori di ristrutturazione di fine XVI secolo sono attribuiti all'arcivescovo Gaspare Visconti, successore di Carlo Borromeo, e datati 1585. Dopo questi lavori, in questo castello l'arcivescovo era solito trascorrere i periodi estivi, e qui si rifugiò durante l'epidemia del 1587-88. Nel 1674 il castello era tenuto contemporaneamente dai Visconti di Fontaneto e dai Visconti Borromeo.
