Venne eretto su commissione di Alberto V d'Este (1385) su base quadrangolare, senza le ali laterali: era pensato come un piccolo luogo di ristoro, in cui consumare pasti e dedicarsi all'ozio, con una facciata urbana ed una seconda facciata nel giardino: come equivalente della villa suburbana dell'antica Roma, precedette il modello rinascimentale che a Roma fu rappresentato dal Belvedere costruito da Niccolò V.

Il palazzo è soprattutto famoso per gli affreschi del Salone dei Mesi, tra i cicli pittorici parietali a carattere profano più importanti del Quattrocento italiano. Il programma iconografico fu affidato all'astrologo e bibliotecario di corte Pellegrino Prisciano, vi parteciparono collettivamente i migliori pittori della scuola ferrarese, tra i quali Baldassare d’Este, Ercole de' Roberti e Francesco del Cossa. Resta controversa la possibile partecipazione alla realizzazione degli affreschi del pittore Cosmè Tura. Il nome della sala deriva dalle personificazioni dei mesi dell'anno, a ciascuno dei quali corrisponde un segno zodiacale e allegorie con le attività lavorative correlate. La fascia inferiore è decorata inoltre da Episodi della vita di Borso d'Este e quella superiore dai Trionfi degli dei. Ci sono pervenuti solo i mesi da Marzo a Settembre, leggibili in senso antiorario.

La successiva sala degli Stucchi o delle Virtù presenta un notevole soffitto a cassettoni e un fregio in legno e stucco realizzato dallo scultore Domenico di Paris e dipinto da Buongiovanni da Geminiano attorno al 1467. Nel fregio sono rappresentate le virtù cardinali, esclusa la Giustizia, e le teologali. Nella decorazione sono riprodotti oltre all'aquila estense gli emblemi e le imprese utilizzati da Borso in quanto l'ambiente era probabilmente destinato a sala per le udienze.

All'interno il percorso museale inizia dall'ala più antica, trecentesca, dove sono ospitate varie collezioni (pittura, bronzetti, avori, tarsie lignee, ceramiche graffite e medaglie). Le sale del quattordicesimo e del quindicesimo secolo contengono collezioni di antichità, monete e medaglie coniate da Pisanello da altri artisti del Quattrocento per commemorare singoli componenti della famiglia d'Este.