Il castello risale molto probabilmente al primo XIII secolo ed è documentato dal 1228. Venne eretto dai conti di Tirolo per contrastare i vescovi di Coira, presenti sul versante opposto della valle.
Il muro di cinta appartiene probabilmente alla fase originaria. Nei documenti vengono citate anche le due torri: quella sud e la torre di Ilprando (in ted. Hiltprandsturm).
Durante il XIV secolo, la struttura venne ampliata con un grande palazzo e di un edificio secondario (denominato "piccolo palazzo") in stile gotico, ricco di affreschi con tematiche cavalleresche, oggi conservati presso il Tiroler Landesmusuem Ferdinandeum di Innsbruck.
A seguito di alcune battaglie avvenute nei suoi pressi, come ad esempio la battaglia della Calven (1499), si decise di rafforzarne le strutture difensive elevando una nuova cinta muraria con merli, e una nuova torre, la torre circolare. Allora il castello era infeudato ai signori di Spaur, di cui si conserva a Praga il più antico registro dei beni proprietari del castello, risalente agli anni 1477-1483.
La famiglia Khuen-Belasi entrò in possesso del castello nel 1513 e durante il XVI secolo, con l'aiuto dell'arcivescovo Johann Jakob Khuen-Belasi, fece diversi lavori strutturali: al palazzo grande venne aggiunto un piano e venne costruita una torre scalare. Inoltre l'arcivescovo fece costruire una cappella.
Tra la fine del XIX e l'inizio del XX secolo, il castello subì un lento decadimento, al punto che, nel 1908, si decise di trasportarne alcuni affreschi al Ferdinandeum di Innsbruck. Nel 1925 il castello, di proprietà privata, veniva descritto in condizione precarie. Un progetto di restauro e consolidamento fu elaborato nel 1950, ma venne in seguito abbandonato dopo averlo semplicemente sgomberato dalle macerie.
