La costruzione della rocca iniziò lo stesso anno della dazione di Bergamo al re di Boemia, 1331. I lavori furono condotti sotto il coordinamento di Guglielmo di Castelbarco vicario del re, furono proseguiti dai Visconti, dopo che l'effimera esperienza, circa 20 mesi, di Giovanni del Lussemburgo era sta chiusa dalle armi viscontee, e ultimati da Azzone Visconti nel 1336.
I Visconti aggiunsero delle opere di fortificazione che ne aumentarono la funzione difensiva sia contro nemici esterni sia contro quelli interni e le loro eventuali velleità di ribellione: il castello come difesa ma anche come strumento di repressione e di controllo del territorio.
Nel 1355 Bernabò Visconti iniziò la costruzione, sul colle San Giovanni, della Cittadella chiamata Firma Fides, quest'opera completò la funzione difensiva della Rocca, costruita sul colle Sant'Eufemia, racchiudendo il centro storico tra i due colli ora entrambi fortificati. Le due fortezze costituirono così un unico complesso difensivo coordinato, di cui uno, la Rocca, rappresentava, in caso di occupazione nemica, l'ultima possibilità di salvezza e di contrattacco, l'ultima ridotta.
