La storia di questo monumento è ricostruibile solo in parte, grazie a documenti sparsi; un primo documento risale al 1145 in cui i Da Castello vengono citati come proprietari di una residenza fortificata. Due dei più importanti proprietari del castello furono Alberto e Giovanni Maria Visconti. Il secondo era il conte di Sesto Calende e figlio di Lancellotto, lui ereditò una parte del terreno del padre e volse la sua lealtà a Ludovico il Moro.
Il castello fu ristrutturato in diversi modi architettonici nel corso dei secoli; le testimonianze più antiche risalgono all'epoca viscontea, quando la fortezza era nel suo periodo di splendore. Aveva una pianta quadrilatera e possedeva quattro torri agli angoli, due erano posizionate sul versante nord occidentale della struttura e le altre due posizionate sul lato verso il fiume.
Con uno studio approfondito si è potuto scoprire che la muratura era anticamente composta da uno strato di ciottoli che in seguito fu rinforzata da pietre quadrate e poi vi furono altri interventi di adattamento, la funzione difensiva originaria è ancora rilevabile nonostante tutte le modifiche fatte nel tempo e adesso le due torri del castello che si affacciano sul fiume sono molto danneggiate e frantumate; nella facciata principale si può vedere lo stemma dei Visconti D'Aragona, nel castello troviamo anche una sala degli stemmi, la quale è decorata con i simboli araldici del biscione visconteo e dell'aquila imperiale; ci sono anche degli stemmi delle donne appartenuti alle famiglie Perrone di San Martino e Visconti Ornavasso.
Dalla parrocchia è possibile accedere alla sala principale dell'edificio dove si può vedere lo stemma dei visconti come decorazione sul pavimento, il quale è fatto a seminato alla veneziana e si vede anche il soffitto appena ristrutturato.
Si consiglia di verificare la corrispondenza degli orari di apertura contattando direttamente la struttura.
