La struttura fortificata fu costruita agli inizi del Cinquecento nel luogo in cui sorgevano i resti di un preesistente edificio risalente al periodo romano, in prossimità della Villa della Linguella. La sua costruzione fu voluta dai Medici per avere una struttura difensiva in più a protezione del porto di Portoferraio, che tuttavia veniva utilizzata in modo promiscuo essendo anche adibita a magazzino per la conservazione del sale. La torre continuò a svolgere sia le funzioni di avvistamento che quelle di magazzino fino alla seconda metà del Settecento, epoca in cui i granduchi di casa Lorena decisero la sua dismissione e la susseguente trasformazione in prigione, rimasta in funzione fino all'apertura tardo ottocentesca del più ampio carcere all'interno del Forte Longone di Porto Azzurro.
La torre della Linguella presenta una caratteristica pianta ottagonale, con una cordonatura che si articola nella parte bassa delimitando il sottostante basamento, che su sei degli otto lati poggia direttamente sulla riva scogliosa del mare. La parte superiore della struttura turriforme risulta nettamente più sporgente di quella inferiore, culminando nella parte sommitale con alcuni possenti beccatelli che delimitano la terrazza originariamente utilizzata per le funzioni di avvistamento, al centro della quale è presente una piccola struttura a base circolare non visibile dall'esterno del complesso. Le strutture murarie si presentano quasi interamente rivestite in laterizi, con tratti di cortine murarie di cinta in pietra che si addossano all'angolo nord-occidentale della torre, andando a delimitare esternamente una struttura bastionata con basamento a scarpa, che in passato conferiva un ulteriore elemento di sicurezza all'intero complesso.
