Il luogo e forse una prima fortificazione furono fondati nel 1102, il castello come tale solo nel XIII secolo (probabilmente intorno al 1270) dalla nobile famiglia genovese Doria come "Castel Genovese" o "Castrum Januae" con grande importanza strategica. Fino al XV secolo, la città e il castello erano la sede dei Doria e servivano a dominare i possedimenti nella nord Sardegna. A proposito di Castelsardo fu un afflusso di gruppi di popolazione liguri e corsi.
Il castello è circondato da un anello a muro ancora completo, che è visibile soprattutto a sud e colpisce la roccia della montagna. Il complesso del castello è angolato e copre l'intero ponte di montagna in direzione est-ovest su una larghezza di circa 100 metri. In direzione nord-sud è solo circa 25 metri. Gli edifici interni con diversi livelli e altezze dei piani, di cui oggi sono conservate sette case separate, sono collegati da una stradina. Il lato occidentale è rivolto verso il mare. L'accesso si trova da est a nord attraverso una ripida rampa che porta alportiere nel centro nord, il cui l’ingresso potrebbe essere fiancheggiato e controllato da edifici da tre lati in un piccolo cortile.
