Il castello sorge sopra uno scoglio di serpentinite, separato dal resto della montagna dalla faglia "Aosta-Ranzola" (di andamento est-ovest) lavorata nel corso dei secoli dal ghiacciaio pleistocenico. Il rilievo è caratterizzato da lenti di magnetite che furono sfruttate in epoche passate attraverso la coltivazione del minerale in galleria: ancora oggi attorno al castello sono visibili alcuni accessi alle miniere.
Il castello fu costruito ex novo da Ebalo II di Challant nel 1343, al termine di complicate questioni ereditarie che coinvolsero la famiglia Challant alla morte di Ebalo Magno. Alla sua morte nel 1323 infatti Ebalo Magno nominò eredi i suoi quattro figli Pietro, Giacomo, Bonifacio e Giovanni e i due figli del suo primogenito Goffredo, morto in precedenza, con l'obbligo che ai nipoti Ebalo II e Aimone fosse lasciato metà di tutto l'asse ereditario. Si giunse ad un accordo solo nel 1337, quando i figli di Ebalo Magno riconobbero al nipote Aimone il feudo di Fénis e ad Ebalo i feudi di Saint-Marcel e Ussel.
Ad Ebalo venne riconosciuto il diritto di costruire ad Ussel un castello, ma non prima che fossero trascorsi sei anni dall'accordo, cioè a partire dal 1343. Nei secoli successivi il castello subì la stessa sorte di molti altri manieri della Valle: nel 1470 alla morte di Francesco di Challant, ultimo signore di Ussel, il castello venne adibito a prigione e caserma, ed in seguito abbandonato. Oggi il museo è sede espositiva della cultura e dell’arte valdostana ed ospita pregevoli mostre temporanee durante il periodo estivo, unici mesi in cui il castello è visitabile.
