Le prime notizie certe riguardo a questa fortezza risalgono al XII secolo, allora feudo dei conti di Appiano, ed abitato da una famiglia di loro vassalli: i Da Beseno. In seguito la storia di questo edificio si fa per la verità piuttosto travagliata, intorno al 1200 infatti la chiesa trentina, in parte per acquisti ed in parte per donazioni diventa proprietaria di buona parte della struttura, ciononostante esso rimase sotto il controllo di due rami distinti della famiglia Beseno: quello di Enghelberto e quello di Odolrico, ma la rivalità tra le due fazioni porta ad un decadimento prematuro sia castel Beseno che Castel Pietra, su cui entrambe le famiglie vantavano dei diritti.
Circa un secolo più tardi il castello passa sotto il controllo di Guglielmo II da Castelbarco, che provvede a restaurarne buona parte, ed infine verso la metà del Quattrocento un altro importante personaggio entra nella storia di questo edificio, si tratta di Marcabruno II Castelbarco, il quale si trova nel bel mezzo delle diatribe tra le truppe di Venezia e quelle Tirolesi; è proprio in questo frangente che si sviluppa la famosa Battaglia di Calliano (1487), dove millecinquecento veneti furono uccisi o catturati. Fu una vera e propria sconfitta per i veneziani e il loro comandante Roberto Sanseverino d'Aragona, che morì annegato nell'Adige.
Nel corso del '500, a seguito di un incendio esso viene ricostruito e rinnovato, mutando il suo aspetto di castello medievale in quello di residenza, conservando però la sua identità di fortezza difensiva ben armata. Le vicissitudini non finirono così presto: verso la fine del Settecento infatti esso fu nuovamente protagonista di un sanguinoso assedio da parte delle truppe napoleoniche che, nonostante l'ingente spiegamento, non riuscirono ad avere la meglio, venendo sconfitte dopo giorni di assedio da una colonna di truppe austriache giunte in difesa di Castel Beseno.
In seguito, a causa della più tranquilla situazione politica, e quindi alla perdita di importanza di questa struttura difensiva, inizia un lungo periodo di decadenza del castello, che verrà infine abbandonato nel corso dell'Ottocento e scoperchiato per non pagare le imposte sulla proprietà, per essere infine donato nel 1973 alla Provincia Autonoma di Trento, che ne avviò subito il restauro per farne una delle sedi distaccate del museo del Castello del Buonconsiglio, dimostrando ben altra sensibilità storica rispetto a quando nel 1957 la stessa Provincia provvide all'abbattimento con la dinamite di una torre ritenuta pericolosa per il traffico sulla strada sottostante.
La struttura, restaurata nella seconda metà del XX secolo, ha una forma ellittica che copre tutta la sommità della collina calcarea, estendendosi in lunghezza per 250 metri e in larghezza per circa 50 metri.
