Il castello fu costruito nel 1311 da Tissone figlio di Geremia I al quale il conte Enrico di Tirolo aveva concesso il diritto a costruire una torre. Coinvolto nelle lotte nobiliari del 1334 in Val di Non, Tissone morì prematuramente nel 1339 lasciando il castello ai suoi eredi. Questi però nel 1350 furono costretti a cederlo ai Thun che vi insediarono i Reifer, capitani di castel Sporo. I Reifer rimasero in possesso del castello fino al 1415, quando i signori di Sporo lo conquistarono con la speranza di riceverlo poi in feudo. Pochi anni dopo però alla morte di Pietro Sporo, il castello ritornò nelle mani di Federico IV d'Asburgo, conte del Tirolo, che lo concesse prima a Giovanni Uber (1427) e poi al giudice Andrea Vogt (1428-29). Nel 1429 il maniero tornò nelle mani dei Thun che a loro volta, nel 1450, lo restituirono ai Reifer i quali sono ivi attestati nel 1456 quali Reifer de Altspaur. Questi ultimi si estinsero però nel 1470.
Il castello passò quindi ai Neideck, ministeriali originari di Andrech che accrebbero il loro potere arrivando a possedere i castelli di Anger, Malosco, Wellenberg e Fragenstein.
Nel 1500 a loro volta i Neideck si estinguono e il castello passa ai Concini che lo rivendono nel 1543 a Leonardo Nogarola di Verona. Dopo qualche anno nel 1607 il maniero viene di nuovo venduto ad Antonio Pezzen, notaio della Val di Non di origini bresciane. Quando anche l'ultimo dei Pezzen muore, il maniero passa ai Terlago, con cui i Pezzen erano imparentati. Nel 1642 viene acquistato da Domenico Vigilio Spaur che dopo solo 8 anni lo rivenderà a Antonio del Monte sposato con Antonia Saracini. Visto che la coppia non ebbe figli, alla morte di Antonio il castello entra tra i possedimenti dei conti Saracini.
Nel 1670 nel castello scoppia un grave incendio che lo distrugge quasi completamente. A causa degli ingenti danni, i conti Saracini decidono di abbatterne i resti e ricostruirlo interamente come fortezza con tecniche e impostazioni seicentesche.
Nel 1785 la giurisdizione di castel Belfort viene fusa con quelle di castel Sporo e castel Flavon e la sede della nuova giurisdizione viene spostata nell'abitato di Spormaggiore. Il castello perde quindi di importanza, viene abbandonato e ben presto diventa un rudere. Nel 2013 le rovine sono state consolidate e rese più accessibili al pubblico.
Si consiglia di verificare la corrispondenza degli orari di apertura contattando direttamente la struttura.
