Subito dopo il restauro dell'acquedotto dell’Aqua Virgo, terminato nel 1570, furono iniziati i lavori per una ramificazione sotterranea secondaria del condotto, in modo da raggiungere l'area dell'antico Campo Marzio, tra le zone più popolose di Roma. Venne di conseguenza progettata anche l'edificazione di un certo numero di fontane, una delle quali era stata prevista nella piazza Giudia (ora scomparsa), sede di mercato, ma per le pressioni di Muzio Mattei venne invece costruita nella vicina piazza davanti al suo palazzo: in cambio la famiglia si impegnava a pavimentare la piazza e a tener pulita la fontana.

Fu costruita, su probabile progetto di Giacomo Della Porta, nel 1581, e i lavori furono condotti dallo scultore Taddeo Landini, che avrebbe dovuto realizzare quattro efebi e otto delfini, previsti prima in marmo e poi in bronzo. I lavori si conclusero nel 1588, e quattro dei delfini previsti non furono messi in opera perché la pressione dell'acqua non consentiva l'elevazione prevista. Questi delfini furono poi utilizzati per la fontana della Terrina, allora posta in Campo de' Fiori e ora spostata in piazza della Chiesa Nuova.

La leggenda popolare narra che il duca Mattei, il cui palazzo si affaccia sulla piazza che alloggia la fontana, per stupire il futuro suocero (che non voleva concedergli la figlia in moglie), facesse realizzare in una sola notte la fontana. Il giorno successivo fece affacciare la promessa sposa con il padre alla finestra per ammirare l'opera. Quindi, perché nessun altro potesse più godere dello stesso spettacolo, il giovane duca fece murare la finestra, che così è arrivata a noi. Il punto debole della leggenda (oltre all'improbabile celerità della realizzazione) è che mentre la fontana è del 1581-88, il palazzo fu costruito più tardi, solo nel 1616.