La costruzione fatta erigere a da Cesare Borgia su disegno di Ludovico Clodio nel 1503 per controllare la città dal versante sud-ovest: i torrioni cilindrici e il possente mastio sono begli esempi di architettura militare del primo Rinascimento. La fortezza venne in seguito restaurata da Giovanni Maria Varano che, solo a un anno dall'aggressione del Valentino, era riuscito a riprendere la città di Camerino. Altri interventi furono effettuati da Guidobaldo della Rovere, quindi da Ottavio Farnese e più tardi dalla Stato Pontificio. Difatti Papa Clemente VII non trovò miglior custodia della Rocca dei Borgia per nascondere alle brame dei saraceni i preziosi tesori del santuario di Loreto. Inizialmente la Rocca era divisa dalla città per mezzo di uno strapiombo e poteva essere raggiunta soltanto attraverso un ponte levatoio. L'avvallamento fu definitivamente riempito nel Seicento.
Durante l'occupazione tedesca della seconda guerra mondiale, la fortezza venne adibita a sede del comando nazista. Sulla spianata interna, sorge ancora parte della struttura del convento francescano di San Pietro in Muralto del 1300. Recentemente i giardini della Rocca Borgesca, dopo un periodo di chiusura dovuto allo svolgimento di alcuni lavori di rifacimento, sono stati riaperti al pubblico.
