Ancora oggi non si conosce la reale data di edificazione del primo edificio fortificato; gli unici dati disponibili e pervenuti agli storici risalgono al 1139 quando la Repubblica di Genova riuscì ad ottenere il controllo del borgo di Porto Venere, tramite i signori locali di Vezzano, difendendosi così a levante dalla rivale Pisa.
Nel 1161 il castello fu ricostruito in una zona maggiormente dominante rispetto al preesistente vicino alla chiesa di san Pietro e la nuova costruzione fu praticamente annessa ad un'altra struttura fortificata, compresa di due torri di avvistamento identiche. Nei primi anni dopo la nuova edificazione le due fortificazioni ebbero due distinti castellani e sarà nell'edificio inferiore che prenderà residenza il podestà locale.
Il forte ha una pianta a forma pentagonale da cui sporgono sui salienti a valle tre bastioni, mentre in quelli rivolti a monte domina un robusto torrione circolare; quest'ultima struttura faceva già parte del precedente castello medievale. I bastioni avevano il compito di controllare gli accessi al borgo e dal mare antistante; il corpo costruito nel XVI secolo, posto più a monte, doveva invece garantire la sicurezza da eventuali pericoli provenienti dai monti che circondano Porto Venere.
L'accesso alla fortezza avveniva attraverso un ponte levatoio, oggi non più esistente, le cui fessure di scorrimento per i tiranti sono ancora oggi ben visibili; l'accesso attuale è attraverso un imponente portale. All'interno della fortezza cinquecentesca, alla quale si accede tramite un corridoio voltato e una scala coperta, si trova una Sala ipostila la cui volta di copertura è sostenuta da pilastri. Sopra di essa è l'alloggio del castellano locale che, dal XVI al XVII secolo, fu sede del Capitano del popolo.
