Il primo documento in cui è citato il castello di Issogne è una bolla di papa Eugenio III del 1151, che attesta la presenza ad Issogne di una casaforte di proprietà del vescovo di Aosta. Tale casaforte doveva essere simile alla casaforte Villette di Cogne o alla tour Colin di Villeneuve. Molto probabilmente però il sito era già sede di una villa romana simile alla villa romana di Aosta fin dal I secolo a.C., come dimostrano alcuni muri perimetrali rinvenuti nelle cantine dell'attuale castello.
Il potere del vescovo era però contrastato della famiglia De Verrecio, signori di Verrès, e le tensioni culminarono intorno al 1333 con un assalto da parte di Aymon de Verrès alla casaforte vescovile, che fu data alle fiamme e seriamente danneggiata. Issogne rimase sede vescovile fino al 1379, quando il vescovo di Aosta infeudò della giurisdizione della signoria l'allora signore di Verrès Ibleto di Challant. Ibleto iniziò così i lavori di ristrutturazione del castello trasformando la casaforte vescovile in una dimora complessa ed elegante, improntata sullo stile del gotico cortese, composta da una serie di torri e corpi di fabbrica racchiusi da una cinta muraria.
Alla morte di Ibleto nel 1409 il feudo e il castello di Issogne passarono al figlio Francesco di Challant, che nel 1424 ottenne dai Savoia il titolo di primo conte di Challant. Francesco però non ebbe figli maschi, e alla sua morte nel 1442 si generò una lotta di successione tra la figlia Caterina e suo cugino Giacomo di Challant-Aymavilles. Dopo anni di lotte nel 1456 Caterina dovette cedere i suoi possedimenti a Giacomo, che divenne così il secondo conte di Challant e nuovo signore di Issogne.
Esternamente il castello appare come una dimora fortificata dall'aspetto poco appariscente, senza particolari decorazioni o affreschi e con le torrette angolari poco più alte del resto dell'edificio, situato al centro dell'abitato di Issogne. La pianta del castello è di forma quadrangolare, di cui tre lati sono occupati dall'edificio stesso e il quarto - quello orientato verso sud - è costituito da un giardino all'italiana separato dall'esterno da un semplice muro di cinta.
Una delle caratteristiche del castello di Issogne, oltre ai famosi affreschi e alla fontana del melograno, sono i numerosi graffiti lasciati nel corso dei secoli dai visitatori e dagli ospiti del castello, dai servitori o dagli stessi castellani, preservati dal fatto che il castello non ha mai subito profondi rimaneggiamenti e testimoni della vita quotidiana che ruotava intorno al maniero. Questi graffiti, solitamente incisi sulle pareti tramite punte metalliche, sono presenti in tutto il castello ma in particolare sono visibili nel porticato del cortile, nei corridoi e nelle strombature di porte e finestre.
