L'edificio che ospita il collegio, disegnato da Pellegrino Tibaldi, è realizzato in stile manieristico con un lato esposto sul Ticino e circondato dai giardini e orti borromaici. Sulle diverse facciate di questo "palazzo per la sapienza", così definito dal Vasari, campeggiano numerosi gli stemmi ed emblemi delle casate Borromeo e Medici. Il progetto venne proseguito da Francesco Maria Richini e completato, entro gli anni '20 del Seicento, con due corpi di fabbrica sul lato orientale, protesi verso il giardino all'italiana. Dell’architetto milanese sono anche i disegni della fontana barocca posta in fondo al giardino e quello della cancellata in ferro battuto che separa il cortile dal giardino all'italiana. Un ulteriore intervento architettonico di rilievo fu quello di Giuseppe Pollack al quale fu affidato, in seguito all'abbattimento nel 1819 dell'adiacente chiesa romanica di san Giovanni in Borgo, il compito di completare la facciata meridionale del collegio seguendo il modello delle altre.
Sul terreno acquisito a seguito della demolizione si estende il giardino all'inglese, affacciato sul Ticino e su piazza del Collegio Borromeo. Risulta inoltre connesso con l’area degli orti borromaici: un'ampia zona derivante da progressivi acquisti e annessioni di terreni un tempo appartenuti a conventi e istituzioni caritatevoli.
La visita è circoscritta esclusivamente agli ambienti comuni del piano terra del palazzo storico e al giardino secentesco.
