Millesimo fu trasformato in un borgo fortificato da Enrico II Del Carretto nel 1206, ma l'erezione del castello vero e proprio da parte della famiglia Del Carretto potrebbe essere successiva alla spartizione dei domini di Enrico fra i tre figli di Giacomo Del Carretto che diedero origine ai marchesati di Finale, Millesimo e Novello (1268). La parte più antica del castello, come la torre, il maschio e la parete est, è infatti databile alla seconda metà del XIII secolo. Per alcuni secoli il castello fu la residenza di un ramo carrettesco: i marchesi "Del Carretto di Millesimo", che si appoggiarono prima al comune di Asti e dal 1393 ai marchesi di Monferrato.
Costituente un'importante postazione di difesa e controllo della valle, assieme ai manieri di Cosseria, Roccavignale e Cengio, si presenta a pianta quadrangolare con due torri laterali e mura fortificate. Il castello millesimese viene citato da Gianmario Filelfo quale sede della riunione dei diversi e numerosi rami della famiglia Del Carretto, tenutasi nel 1447 per decidere la strategia da intraprendere contro la Repubblica di Genova, che minacciava di muovere guerra al Marchesato di Finale. Nella guerra che poco dopo seguì tra il piccolo marchesato e Genova (1447-1448) la fortezza di Millesimo accolse Bannina, la moglie di Galeotto I Del Carretto, signore di Finale.
Trasformato in residenza fortificata, fu smantellato nel 1553 dal commissario imperiale Gerolamo Sacco di Ceva su ordine del governatore di Milano Ferrante I Gonzaga, quest'ultima in lotta con la Francia e che condizionò la scelta distruttiva per la paura di una possibile e probabile caduta del castello ai francesi. Devastato e parzialmente inutilizzabile, il castello cadde in abbandono e la stessa famiglia carrettesca trasferì la sua sede presso l'odierno palazzo municipale di Millesimo. Ulteriori danni alla struttura furono arrecati nelle prime battaglie napoleoniche del 1796 tra gli eserciti francesi e austro-piemontesi.
