Sorto sul luogo del primitivo forte degli Alberti (di cui restano due torri, quelle prive di merli, che fino al 1767-68 avevano circa il doppio dell'attuale altezza), nucleo di Castrum Prati, a ridosso della seconda cerchia di mura, venne realizzato da Riccardo da Lentini su incarico dell'imperatore Federico II a partire dal 1240, per poterlo trasformare in una residenza imperiale. Il castello, originariamente tangente alla seconda cerchia muraria (XII secolo), era parzialmente circondato da un fossato e collegato alle carceri albertiane dalla cui definizione "delle carceri" prese il nome il vicino santuario mariano. Esso presenta otto torri ed ha insiti, come per il Castel del Monte, svariati aspetti simbolici, sia nella struttura che nel portale.
La sua costruzione venne però interrotta verso il 1250, e la struttura venne utilizzata in seguito per molti altri scopi. Nel corso del Trecento, sotto il dominio fiorentino, il castello fu collegato alla terza cerchia di mura tramite un corridoio coperto chiamato "Corridore del Cassero" (cioè: corridoio del castello) o più semplicemente Cassero. In questo modo le truppe fiorentine potevano entrare da fuori le mura tranquillamente in città usando un passaggio protetto.
Tale castello costituisce l'unico esempio di architettura sveva dell'Italia centro-settentrionale.
Interessante inoltre, sul retro dello stesso castello, i resti dell'ospedale e della corrispondente chiesa di San Giovanni Gerosolimitano (o dei Cavalieri di Malta), edificata extra moenia a metà del XII secolo ed attualmente dismessa, ma che conserva ancora piccole e rare tracce antropomorfiche in cotto di epoca romanica.
