Le prime fonti storiche che parlano di una fortezza costruita in questo luogo, con il nome Castellum Ava, sono datate 1053. Nel XII secolo i proprietari appartenevano alla famiglia dei Castelbarco, vassalli del vescovo di Trento i quali, nel 1411, lo cedettero per testamento a Veneziani. Dopo questo passaggio di proprietà il Castello di Avio venne ampliato e decorato con una cappella in onore di San Michele insieme ad una facciata riportante gli stemmi dei loro dogi. Nel 1509 il maniero passò in mano alle truppe imperiali di Massimiliano I che, dopo aver fatto dipingere le proprie insegne araldiche, lo ipotecò ai Conti d'Arco. Ulteriori passaggi di mano fanno seguito a questa fase finché, nel XVII secolo, il castello ritornò ai Castelbarco.
Il castello è costituito da tre cinte murarie che circondano a guisa di corona l'insieme del sistema difensivo e può vantare 5 torri, tra cui quella della picadora, dove in passato venivano eseguite le condanne capitali per mezzo dell'impiccagione; il suo perimetro irregolare eppure armonioso si appoggia al terreno seguendone il dislivello. Dentro le mura le vie sono delimitate da muri, terrazzamenti, passaggi coperti e torri aperte; le porte, le mura e gli interni sono illuminati da notevoli affreschi. Attorno al potente mastio, risalente all'XI secolo, si trovano numerosi edifici tra cui la Casa delle Guardie, la Cappella, il Palazzo Baronale e la Casa d'Amore all'ultimo piano del mastio, tutti quanti affrescati.
Gli studiosi hanno individuato negli affreschi la mano di due differenti artisti, con le relative équipe; il primo, già attivo nella chiesa dei Domenicani di Bolzano, è il decoratore della Casa d'Amore: un ciclo di affreschi di grande qualità, pieno di allusioni, allegorie e rimandi. Forse dopo due o tre decenni, opera nel castello un altro artista, d vena più semplice e popolare rispetto al precedente; a lui si devono le battaglie della Casa delle Guardie.
