La cattedrale di Gaeta venne edificata nell'XI secolo su di una preesistente chiesa dedicata a Santa Maria del Parco del VII secolo, e fu consacrata da papa Pasquale II nel 1106. Dopo il disastroso terremoto del 1231, fu ricostruita in stile gotico con una struttura a sette navate, per poi esser restaurata in stile neoclassico da Pietro Paolo Ferrara alla fine del XVIII secolo; in tale occasione, lo spazio interno venne ridotto a tre navate con cappelle laterali, tramite la realizzazione di sovrastrutture.
La facciata neogotica del 1903 si affaccia sull'angusta via del Duomo; in mattoncini con decorazioni in pietra chiara, presenta sulla sommità la statua in ghisa dell'Immacolata. Dal pronao, dove si trovano le statue dei due santi patroni Erasmo e Marciano, si accede, tramite il portale, alla navata centrale, coperta col volta a botte cassettonata e illuminata da finestre a lunetta. Lungo le due navate laterali si aprono quattro cappelle per lato contenenti altari barocchi in marmi policromi, due dei quali provengono dalla chiesa di Santa Caterina d'Alessandria, attualmente chiusa al culto.
L'abside è stata costruita alla fine del XVI secolo e rifatta a partire dal 1619 da Jacopo e Dionisio Lazzari; è sopraelevata rispetto al resto della chiesa per la presenza del sottostante succorpo di Sant'Erasmo a navata unica, ideato come custodia delle reliquie di diversi santi e riccamente decorato con pitture e marmi. In fondo all'abside rettangolare, si trova l'altare barocco in marmi policromi, anch'esso del Lazzari, sormontato dalla pala di Giovanni Filippo Criscuolo raffigurante Madonna col Bambino con San Michele Arcangelo attorniato da una corte di sei angeli (metà del XVI secolo), posta dove originariamente trovava luogo lo Stendardo di Lepanto. Nel presbiterio, è custodito il pregevole candelabro del cero pasquale, del XIII secolo, con Storie della vita di Cristo e di Sant'Erasmo.
Alle spalle della chiesa, dove si trovava l'entrata della prima chiesa, si trova il campanile; risalente al XII secolo, è opera di Nicola (o Niccolò) dell'Angelo, che operò anche nella concattedrale di Sutri e nella basilica di San Paolo fuori le Mura a Roma. La possente mole, in stile romanico con influssi arabo-normanni, è costituita da tre piani con bifore, sormontati dal cupolino ottagonale. All'interno della strombatura posta alla base della torre, ci sono dei sarcofagi di epoca romana e due bassorilievi marmorei raffiguranti la storia di Giona e il pistrice. Il campanile della cattedrale di Gaeta, insieme a quello di Amalfi con cui ha notevoli analogie, rappresenta un eccellente esempio di arte medievale dell'Italia centro meridionale.
