Villa San Carlo Borromeo sorge su una collina che accolse, nell'VIII secolo a.C., un insediamento celtico e, in seguito, una roccaforte romana, nella quale soggiornò anche Giulio Cesare. Il terreno fu poi occupato dai Longobardi che trasformarono la roccaforte romana in una fortezza. Sulle rovine di quest'ultima i Visconti costruirono il loro palazzo, chiuso sui quattro lati. Fu una delle fortezze utilizzate da Bernabò Visconti.
Nel 1629, Federico Borromeo, nuovo proprietario della dimora, decise di abbattere uno dei quattro lati della struttura originaria. Nel 1630, la "Villa" divenne, per volere di Federico Borromeo, un rifugio per i migliori teologi e pensatori del tempo, fuggiti dalla città di Milano dove imperversava la peste. Tra l'iconografia d'epoca celebri i ritratti delle dimore borromee a opera di Francesco Zuccarelli: nel Palazzo Borromeo dell'Isola Bella a Stresa è conservata l'opera raffigurante il "Palazzo di Senago".
L'edificio subì ulteriori modificazioni sotto Giberto Borromeo che ne arricchì l'arredamento, completando il mobilio raffinato voluto da Federico, aggiungendo lampadari di cristallo e opere d'arte di notevole valore. Nel suo testamento, Giberto invitò i suoi eredi a rispettare il restauro dell'edificio da lui deciso e a preservare tutti gli arredi.
