Costruito tra il 1524 e il 1534 su commissione di Federico II Gonzaga, è l'opera più celebre dell'architetto Giulio Romano. Il complesso è oggi sede del museo civico e, dal 1990, del Centro internazionale d'arte e di cultura di palazzo Te che organizza mostre d'arte antica e moderna e di architettura.

Il palazzo è un edificio a pianta quadrata con al centro un grande cortile quadrato anch'esso, un tempo decorato con un labirinto, con quattro entrate sui quattro lati (Giulio Romano si ispira nell'impianto alla descrizione vitruviana della casa di abitazione: la domus romana con quattro entrate, ciascuna su uno dei quattro lati). Il palazzo ha proporzioni insolite: si presenta come un largo e basso blocco, a un piano solo, la cui altezza è circa un quarto della larghezza.

Pare che il palazzo fosse, in origine, dipinto anche in esterno, ma i colori sono scomparsi mentre rimangono gli affreschi interni eseguiti dallo stesso Giulio Romano e da molti collaboratori. Oltre agli affreschi le pareti erano arricchite da tendaggi e applicazioni di cuoio dorate e argentate, le porte di legni intarsiati e bronzi e i caminetti costituiti di nobili marmi.