Il castello di San Zeno sorge nel luogo di un insediamento alto-medioevale che fu residenza degli eredi di Ugo il Grande di Toscana divenuti in seguito i marchesi d'Este. L'odierna costruzione (salvo l'ala veneziana e le sovrastrutture austriache) risale per buona parte al XIII secolo, quando Ezzelino III da Romano, dopo averla data alle fiamme nel 1242, volle meglio fortificare Montagnana.
L'edificio ha pianta rettangolare (metri 46 x 26) con un ampio cortile interno. Fino agli inizi del XIX secolo, il castello era circondato da un fossato che lo isolava anche dal lato di città. La struttura era completata da torri (di cui ne restano due) e dal vicino mastio (alto circa 40 metri) che doveva costituire un punto privilegiato per l'avvistamento e la difesa della città. Inizialmente, il ponte levatoio che varcava il vallo consentendo l'accesso alla città, immetteva probabilmente nel cortile interno del castello. Si ipotizza che il passaggio sia stato poi spostato sul lato sud del castello stesso, protetto sia da questo che dall'alto mastio. Quest'ultimo originariamente doveva essere più basso e coperto da un tetto di legno sormontato da una guardiola.
Quando Padova, Verona e le altre città del Veneto furono assoggettate da Venezia e cessarono le loro reciproche continue lotte, Montagnana prosperò come zona di produzione agricola e, in particolare, della canapa, le cui fibre erano necessarie per le corde e le vele dell'arsenale veneziano. Il castello di San Zeno fu allora adibito a deposito di tale produzione.
Il castello continuò ad essere utilizzato come quartiere di alloggi militari e, in seguito, anche col Regno d'Italia fino alla prima guerra mondiale. Attualmente al suo interno sono ospitati il Museo Civico "Antonio Giacomelli", la biblioteca civica e il Centro Studi sui Castelli, fondato nel 1954.
Una veduta del castello di San Zeno, visto da nord-est come appariva nel '500, è riprodotta in un prezioso disegno a sanguigna attribuito a Giorgione (conservato al museo Boijmans Van Beuningen di Rotterdam).
