In alcuni documenti risalenti al XV secolo la villa viene citata con il nome di Castellazzo, un edificio a due piani contornato da una vigna e da un frutteto.
La villa, che già aveva assunto la denominazione del Grumello, fu ricostruita nella seconda metà del XVI secolo per volere del banchiere milanese Tommaso D'Adda e divenne una delle prime residenze estive sulle sponde del lago di Como. Nel corso dei secoli furono diversi i proprietari che si susseguirono in questa villa, tra i quali si ricordano le famiglie Odescalchi e Giovio. Alla seconda di queste due famiglie faceva parte una certa Francesca, destinataria di alcuni scritti amorosi realizzati nel 1809 da Ugo Foscolo, ospitato presso la villa così come lo furono Vincenzo Monti e Alessandro Volta.
Nel corso del tempo, la villa venne più volte rimaneggiata: attorno al 1630 fu restaurata da Pellegrino Tibaldi, mentre alla fine del XVIII secolo l'incarico della sistemazione della facciata fu affidato a Simone Cantoni, il quale fu anche il progettista delle due ali laterali della villa. Tra il XVIII e il XIX secolo furono realizzate anche la portineria e le scuderie.
Nel 1870 fu la volta di un nuovo restauro, commissionato dalla famiglia Celesia all'architetto Nessi, il quale fece innalzare il corpo centrale di un piano. Nello stesso periodo fu inserita nel parco una piccola serra affacciata sul laghetto.
Nel 1954 la contessa Giulia Celesia Cays donò la villa e il parco all'Ospedale Sant'Anna di Como, facendo prima trasferire gli arredi e le opere d'arte presso i Musei Civici di Como. La villa assunse così la funzione di casa di riposo e, successivamente, dal 1970 al 2000, ospitò l'ufficio stile delle seterie Ratti.
