Le prime notizie ufficiali sull'odierna struttura risalgono al 1425 quando Tomaso Fregoso, doge della Repubblica di Genova fino al 1421, occupò il borgo di Portofino e la sua fortezza in opposizione a Filippo Maria Visconti duca di Milano. Nel 1430 ritornò ad essere dominio di Genova grazie a Francesco Spinola di Ottobono. Il castello, situato in una posizione strategica poiché si poteva avere un'ampia visuale sul borgo e del Golfo tigullino, fu più volte oggetto di continui tentativi di occupazione e assedi fino ai primi anni del XIV secolo.
Divenuto infine possedimento militare della repubblica genovese, quest'ultima avviò nel XVI secolo diversi lavori di restauro e ampliamento per una maggiore difesa del borgo marinaro e dello specchio acqueo antistante. Fra il 1554 e il 1557, su progetto dell'ingegnere Giovanni Maria Olgiato (progettista di fiducia del re Carlo V di Spagna), il castello fu allungato mediante una nuova piattaforma verso il porto e per costituire una maggiore difesa militare in caso di improvvisi attacchi pirateschi saraceni.
Le nuove opere difensive permisero, negli anni a seguire, di sventare diversi attacchi per la conquista del borgo tra cui quelli effettuati dall'ammiraglio di Oneglia Andrea Doria; l'ammiraglio, che avrà poi il controllo dell'intera Repubblica di Genova, riuscì infatti a conquistare e sottomettere quasi tutti i forti della Riviera di Levante tranne appunto la fortezza di Portofino ben difesa e armata dalla stessa repubblica anni prima.
Nuovi lavori nel 1624 rafforzarono ancora il castello, detto "di San Giorgio", riuscendo così a sventare nel 1664 un nuovo attacco; altri lavori furono eseguiti nel 1728 arricchendo l'armamento e sistemando gli interni della fortezza, entrata 120 anni prima (1608) nei territori del Capitaneato di Rapallo (Sestiere di Pescino nella quale fu compresa anche Santa Margherita Ligure e frazioni) sotto la repubblica genovese.
La fortezza passò sotto il dominio francese dal 1797 quando Napoleone Bonaparte conquistò la Liguria e la sua Repubblica, compiendo altri lavori nel castello e del porto sottostante. Caduto Napoleone e dopo il passaggio della Repubblica Ligure nei territori del Regno di Sardegna dapprima e nel neo costituito Regno d'Italia, la fortezza militare venne completamente dismessa e disarmata a partire dal 1867.
