Il nucleo più antico del Castello, corrispondente all'ala Nord, è di epoca bizantina, risalente al IX secolo. Esso consisteva di un recinto fortificato di forma rettangolare in pietra calcarea. Era presente un piccolo cortile, adiacente alla muraglia meridionale, che si apriva verso l'esterno in quella che adesso è piazza dei Martiri del 1799. Il Castello aveva la funzione principale di dare riparo alla popolazione in occasione di scorrerie di genti nemiche.

La sistemazione attuale si deve a Federico II di Svevia, il quale attorno al 1230 rifondò il Castrum di ritorno dalla VI crociata in Terrasanta, aggiungendo una torre nell'angolo Sud-Est, cosiddetta "Torre Imperatrice", innalzando cortine murarie nel cortile, per ricavarne ambienti chiusi, di servizio al piano terra (cucina, depositi, stalle, scuderie), di rappresentanza e residenziali al primo piano.

In tal modo l'edificio assunse una struttura grossomodo quadrangolare, con cortile interno e quattro torri angolari, tipica dei castelli federiciani. Il Castello così voluto dall'Imperatore faceva parte della rete di residenze e fortificazioni disseminate nel territorio dell'Italia Meridionale, dalla Capitanata fino alla Sicilia, destinate al controllo militare delle fertili regioni del Regno. Per tutta l'età sveva, infatti, il Castello di Gioia del Colle fu sede di una guarnigione militare e solo pochi ambienti erano lasciati liberi e a disposizione del sovrano. Da alcune cronache e testimonianze, seppure posteriori, sembra, tuttavia, che il puer apuliae amasse risiedere nel Castello di Gioia per le sue battute di caccia nei boschi della Silva Regia.