La chiesa, con il relativo chiostro, fu costruita assieme al convento degli Eremitani di San'Agostino nel 1270 e rifatta un secolo dopo assieme alla cattedrale. Il portale in pietra d'Istria (1485) è di Giuliano da Maiano, mentre l'interno fu rifatto alla fine del XVII secolo su disegno del Ferdinando Galli da Bibbiena, con pale realizzate da Pomarancio, Pier Simone Fanelli, Felice Damiani e residui di affreschi di Giacomo da Recanati. Vi sono poi opere di Antonio Calcagni che qui è sepolto.

L'interno è caratterizzato dagli importanti affreschi quattrocenteschi dentro il chiostro, sebbene la chiesa si mostri in stile squisitamente barocco, con i dipinti incastonati in apposite cornici dorate. Ciò che colpisce è l'interno del piccolo oratorio di Santa Monica, che combacia con il chiostro, in cui rimangono segni di affreschi medievali, come il frammentario dipinto della Madonna impaurita che riceve la visita dell'arcangelo Gabriele, e quelli dell'Ultima cena e del coro degli Angeli.

La torre campanaria è citata da Leopardi nella sua poesia del passero solitario. La torre rappresenta il punto più alto del borgo recanatesi, in cui il poeta si immagina un passero, che scruta la lenta e monotona vita della cittadella. Il poeta amerebbe essere esattamente come il passero, in quanto la sua specie gli permette di vivere sempre in solitudine, senza provare sentimenti di felicità o infelicità, assai sofferta da Leopardi.