La piccola costruzione, preceduta da un elegante portico con colonne in pietra, fu eretta nel 1471 per proteggere un tabernacolo stradale nel quale è affrescata una Madonna con il Bambino tra santi e angeli, attribuita a Stefano di Antonio Vanni (XV secolo).

Come recita una lapide in marmo posta sulla facciata della chiesetta, la costruzione fu eretta come riparazione per il gesto sacrilego di un passante che scagliò pietre contro l'immagine della Madonna colpendola nel volto dove, ancora oggi, è ben visibile un livido. Per questo l'oratorio è detto anche della Madonna del livido.

L'oratorio, che ha subito diversi restauri, è stato sempre molto amato dai volterrani; vi si celebra la festa una volta all'anno, il 31 maggio, con una processione notturna che dalla chiesa di San Michele si snoda fino all'oratorio, ubicato vicino al cimitero cittadino.