Le prime testimonianze sulla struttura del castello di Monte Sant'Angelo risalgono ai tempi del vescovo Orso, vescovo di Benevento e di Siponto che avrebbe fatto edificare, negli anni 837-838, il castellum de Monte Gargano, con successive modificazioni e rifacimenti.
Fino al IX secolo non c'era il castello, ma solo un castrum bizantino, poi il castello fu dimora di principi della signoria dell'Honor Sancti Angeli: fu di Rainulfo Drengot, conte di Aversa, e poi di Roberto il Guiscardo che, dopo aver cinto la città di mura, nell'XI secolo fece riedificare la parte più antica, la torre dei Giganti (di forma pentagonale, alta 18 metri e con mura spesse 3 metri). La struttura venne assumendo importanza nella difesa del Gargano uno dei tre Castra exempta (privilegiati). Era bene della corona dell'Imperatore Federico II, che donò alla terza sposa , la principessa Isabella d'Inghilterra, sorella di Re Enrico III d'Inghilterra, tra i doni di nozze, unitamente a Castel del Monte, di Andria, entrambi ereditati da Federico de Staufen, figlio legittimo d'Isabella e Federico II. Ospitò Federico II di Svevia e la sua prediletta, sposa, la splendida Isabella d'Inghilterra, detta" Isabella dal bel volto" e per questo presenta opere architettoniche in stile federiciano, imponenti, ma raffinate come testimonia la sala duecentesca con un pilastro centrale e volte ogivali ("la sala del Tesoro").
L'attuale fortificazione evidenzia soprattutto l'influenza degli Aragonesi che, per difendersi dai nemici, realizzarono il torrione a forma di mandorla e il fossato che precede il portale di ingresso.
