Le prime notizie della sua esistenza risalgono al XII secolo, anche se ci sono testimonianze di tribù che vi trovarono rifugio a partire dal 300 a.C. L'edificazione si attesta attorno all'anno Mille ad opera dei "nobili liberi" della comunità con scopo difensivo. Nel 1196 Federico d'Arco dichiara il castello bene allodiale degli abitanti del borgo; successivamente la famiglia dei d'Arco ne divenne unica proprietaria. Vari e plurimi furono i tentativi d'assalto alla rupe del castello ad opera dei signori di Seiano, dei Lodron e delle truppe della Serenissima Repubblica di Venezia: per quanto il borgo venisse posto sotto attacco e conquistato, il castello riusciva a resistere in ogni occasione.
Nel 1495 l'artista tedesco Albrecht Dürer realizzò un acquerello del castello: da tale riproduzione si evince come il complesso del castello richiamasse allora un piccolo villaggio fortificato. Nell'agosto del 1579 l'arciduca del Tirolo Ferdinando II fece occupare il castello di Arco e Castel Penede, a Nago, dai propri commissari; i Conti torneranno ad occupare il castello a partire dal 1614. Il Settecento segna l'inizio del declino del castello; nell'agosto del 1703, nell'ambito della guerra di successione al trono di Spagna, l'armata francese capitanata dal generale Vendôme penetrò nella zona del Basso Sarca, strinse d'assedio Arco, conquistò la città e bombardò il castello, la cui guarnigione si arrese. Iniziò così la rovina del castello che venne sfruttato come cava di pietra dagli abitanti del borgo sottostante per riparare le case danneggiate dai bombardamenti e costruirne di nuove.
