Sulla cima di un promontorio, nel centro geografico della Val di Non, si trova il castello dei Signori di Cles. Il maniero si rispecchia oggi nelle acque del lago di Santa Giustina e in passato era posto sulla collina per sorvegliare il ponte in legno che collegava la borgata di Cles all'Alta Anaunia (ora inghiottito dalle acque del lago).
La fortezza, sviluppatasi forse attorno ai resti di una torre di vedetta romana, era inizialmente appartenuta ad una consorteria di tipo comunitario, come fa intuire la presenza di più torri. Da questa cerchia emerse attorno all'anno mille la famiglia dei Signori di Castel Cles, il cui capostipite è Vitale de Clesio (documento del 1114) e il cui più illustre personaggio fu Bernardo Clesio, Cardinale e Principe Vescovo di Trento, Cancelliere Supremo nonché presidente del Gran Consiglio Segreto del re Ferdinando I. Grande umanista, esponente della cultura rinascimentale italiana, fu promotore di opere di costruzione di diversi castelli, palazzi e chiese, essendosi circondato di architetti e pittori fra i più importanti dell'epoca.
All'inizio del Cinquecento e durante la Guerra Rustica del 1525, il castello subì gravi danni che portarono alla decisione di ristrutturare il maniero rendendolo consono, per volere dello stesso Bernardo Clesio, ai canoni rinascimentali. I lavori terminarono nel 1535, come ricorda la lapide presente sul muro di cinta del cortile. Altri lavori di rinnovamento vennero attuati nel 1597, diversi anni dopo la morte del Cardinale (1539), dal nobile Aliprando. Quest'ultimo è ricordato nelle cronache per essere stato arrestato per un mese nelle stesse carceri del suo castello su ordine del re asburgico per impedire che con le sue futili spese portasse alla rovina il casato. Il castello aveva a quell'epoca tre torri; l'ala nord ed una torre sono scomparse in un incendio doloso nel 1825.
All'interno del palazzo baronale, chiuso tra le torri dette "Tor di qua" e "Tor di la", è un gioiello rinascimentale la "Saletta delle Metamorfosi", affrescata dal pittore di corte Marcello Fogolino con scene tratte dalle Metamorfosi di Ovidio.
