Il castello di Quart sorge su di un promontorio scosceso da due lati, posto all’imbocco della Valsainte. La sua parte più antica venne eretta nel 1185 da Jacques de la Porte de Saint-Ours, capostipite della dinastia dei signori di Quart.
Il castello, successivamente, subì delle importanti modifiche quando ricadde sotto la signoria dei Savoia dopo che l'ultimo erede della famiglia dei signori di Quart, Henri, era morto nel 1378. I Savoia mantennero il controllo del castello sino al 1550 quando il duca Carlo II decise di concedere il feudo di Quart al presidente Laschis che l'anno successivo lo vendette a Charles-François Balbis.
Nel 1610 il castello venne nuovamente venduto, questa volta al conte Nicola Coardo il quale dopo due anni lo cedette alla famiglia dei Perrone di San Martino la quale mantenne la proprietà del castello sino all'anno 1800 quando lo stabile venne venduto al comune di Quart.
Il comune, nel 1874, vendette il castello ad una famiglia privata che vi instaurò un'azienda agricola che fece perdere allo stabile molto del suo carattere originario. Nel 1951 quest'ultima lo rivendette alla regione Valle d'Aosta che ne è l'attuale proprietaria.
