Le prime citazioni del maniero risalgono al 1264. Nel 1274 i figli di Ropreto da Denno, Niccolò e Giordano, acquistarono il castello assumendo il cognome "da Nanno". Esso rimarrà nella loro disponibilità molto a lungo, tranne una breve parentesi nella seconda metà del XIV secolo in cui passerà tra i beni degli Spaur.
Tra il 1520 e il 1530 il castello viene ristrutturato completamente e assume l'aspetto attuale. Nel seicento secondo la leggenda vennero date alle fiamme dalla Santa Inquisizione tre donne accusate di stregoneria. A conferma di questo una pietra risalente a tale epoca con riprodotte 3 croci è tuttora visibile all'interno del castello.
Oggi castel Nanno si presenta come una residenza cinquecentesca, circondata da una cinta muraria quadrangolare con tre torrette agli angoli. Dell'antico castello medievale rimane soltanto il mastio inglobato all'interno dell'edificio residenziale, che purtroppo è parzialmente crollato nel 1873.
