Si trova a metà della collina sulla quale sorge anche il castello superiore di Arnad. Il castello Vallaise è circondato da terrazzamenti, forse a suggerire l'antica presenza di una cinta muraria, anche se per la totale assenza di documenti anteriori al XVII secolo non è possibile ad oggi avere informazioni certe.
Il castello inferiore di Arnad ha origini medievali ed ha subito numerose modificazioni strutturali e decorative nel tempo; tra ampliamenti e cambiamenti nella destinazione d'uso, le varie fasi costruttive del castello sono ancora leggibili nell'architettura giunta fino a noi, mentre gli affreschi, danneggiati dal tempo, si stratificano in alcuni casi a seconda dei gusti delle epoche.
Venne costruito a Arnad dalla famiglia Vallaise nel XVII secolo. La casata era già proprietaria del castello superiore, di epoca medioevale, collocato nello stesso paese, che però nel Seicento si presentava fuorimano, diroccato e ormai strategicamente inutile.
Il palazzo Vallaise venne costruito nei pressi di altre rovine di un precedente maniero, al quale venne collegato. Il palazzo, in questo primo periodo, era composto da due blocchi di edifici ancora distinguibili, che vennero a lungo occupati da due diversi rami della casata, i Vallaise-Romagnano e i Vallaise-Montalto.
