Sembra che un primo nucleo di Zumelle fosse stato completato già nel 46-47 d.C., quando i Romani si accingevano a consolidare la loro influenza nella zona della Valbelluna, conquistata nel I secolo a.C. La costruzione si ergeva in posizione strategica, controllando i transiti di un'arteria stradale che giungeva dalla pianura attraverso il passo di Praderadego, forse la via Claudia Augusta Altinate o, più probabilmente, una sua variante.
Per tutto l'Alto Medioevo il castello fu coinvolto in sanguinose lotte feudali. La miccia fu innescata quando nel 737 Liutprando, re dei Longobardi, fece il vescovo cenedese Valentino signore di Zumelle con le corti di Valmarino, Serravalle, Fregona, Reganzuolo, Cordignano, Cavolano e Formica. La cosa scatenò una controversia con Giovanni, vescovo-conte di Belluno, che già controllava queste terre.
Ricostruito nel 1311 da Rizzardo da Camino, signore di Treviso, Belluno e Feltre, il castello fu dato dalla Repubblica di Venezia a Zorzi (Giorgio) Zorzi assieme al contado, in cambio di Meleda e Curzola perse nel 1358. Col castello gli furon date anche 19 ville. Ebbe l’obbligo di pagare 2 torce all’anno alla Basilica ciascuna del peso di 10 libbre, tenere un vicario, amministrar giustizia, e tenere 4 stipendiati nel castello. Alvise, fu Piero, Castellano di Zumelle, fece un’arringa in Consiglio dei X in favore dei Zumellesi in una lite tra Zumelle e Belluno, il 29 Gennaio 1596 . Lo stesso, per aver vinto la causa, ordinò una gran festa, per giorni e giorni. Il castello cadde successivamente in rovina per l'abbandono: l'arrivo delle armi da fuoco e la pace seguita alla conquista della Serenissima l'avevano reso del tutto inutile.
Il castello, di proprietà del Comune, dal luglio 2014 è stato dato in gestione, tramite bando pubblico, all'Associazione toscana “Sestiere Castellare” di Pescia (PT), che si è aggiudicata la gara presentando un progetto dal titolo “Il Castello Rinasce”. Dopo alcuni lavori di manutenzione ordinaria e straordinaria, la struttura medievale sarà nuovamente aperta al pubblico a partire dal 5 aprile 2015. Una rinascita vera e propria sia in termini di ambienti che di servizi offerti. Il castello infatti diventerà un vero e proprio parco tematico nel quale si possono visitare: il villaggio medievale, gli ambienti di rievocazione, la casa torre (al suo interno la bottega dello speziale, la camera da letto medievale, il banchetto e la cucina), lo scriptorium, la Chiesa di San Lorenzo, la zona museale, la rimessa militare e lo shop medievale.
