L'imponente complesso fortificato fu realizzato nel 1548, su progetto di Giovanni Camerini e di Giovan Battista Belluzzi, per svolgere funzioni di avvistamento e di difesa nell'ambito del massiccio sistema difensivo, voluto dai Medici, che caratterizzava la cittadina elbana ed era costituito dall'insieme di varie strutture fortificate che, di fatto, rendevano il luogo inespugnabile. Il complesso continuò a svolgere le originarie funzioni a cui era adibito fino ad epoche relativamente recenti.
Il forte Stella si presenta come un'imponente struttura fortificata che si articola a pianta stellata, nell'insieme riconducibile ad un poligono irregolare. Esternamente, l'intero complesso è cinto da una serie di cortine murarie rivestite in laterizi che poggiano su possenti basamenti a scarpa ed originariamente erano ulteriormente protette da una serie di fossati che le delimitavano esternamente. L'intero complesso si adatta all'orografia scoscesa del promontorio sul quale è situato ed è dotato di numerosi passaggi ed ambienti sotterranei, che in passato potevano essere adibiti a rifugi di emergenza in caso di attacco nemico proveniente dal mare. Ai vertici della fortezza spiccano i cinque bastioni angolari, che hanno conservato anche una parte delle originarie garitte delle sentinelle; al vertice nord-orientale si trova anche lo storico faro di Portoferraio, a pianta circolare, che fu costruito dai Lorena nel 1788 per poter segnalare la presenza del promontorio antistante al porto nelle ore notturne.
All'interno del complesso fortificato sorgono vari fabbricati, che in passato ospitavano la polveriera, l'armeria, magazzini di deposito, gli alloggi delle guarnigioni e un presidio ospedaliero; tra essi fu costruita anche una cappella come luogo di preghiera per le sentinelle che prestavano servizio presso il forte.
