Il palazzo deve il proprio nome alla doppia fila di pioppi cipressini che, in passato, erano allineati lungo il viale che dalla città conduceva alla villa, attraverso il cosiddetto "arco dei tre portoni" posto all'ingresso del viale. Dalla presenza del viale si deduce che un tempo l'accesso principale era rivolto ad oriente. Ad oriente vi è il parco, ridotto rispetto alla superficie originaria poiché attraversato dalla ferrovia del Brennero ed in parte occupato dal cimitero monumentale di Trento. Tra la ferrovia ed il cimitero, ai lati dell'originario viale, vi sono inoltre i resti di due baluardi che si suppone abbiano avuto funzione di barchesse.
L'edificio ha una pianta quadrata, con quattro torri angolari quadrate di 6 m di lato e alte 20 m, e circondata da un fossato. La facciata orientale, inoltre, è caratterizzata da una doppia serliana.
Al centro del tetto era originariamente presente una piccola torre quadrangolare (come dimostrano alcuni antichi disegni), ormai andata distrutta. Anche molti degli affreschi presenti nel palazzo sono andati perduti.
Al primo piano si trovava la Sala grande, ma poco o nulla resta dei dipinti che narravano la vita e le imprese di Carlo V, da notare invece le pitture raffiguranti i 12 mesi. Al secondo piano si sono invece conservati molti affreschi rinascimentali: paesaggi immaginari, con rovine e castelli. Altre pitture presenti nel palazzo rappresentano le sette Arti liberali: Grammatica, Logica, Retorica, Aritmetica, Musica, Geometria, Astronomia; le quattro Virtù cardinali: Prudenza, Giustizia, Fortezza e Temperanza; e le tre Virtù teologali: Fede, Speranza e Carità.
