L'edificio è di origini altomedievali ed appare citato per la prima volta nel 1008 come una delle pievi chiamate a pagare una decima al vescovo di Firenze. La consacrazione della chiesa è documentata nel 1057, questo ha fatto ipotizzare ad alcuni studiosi che l'edificio dovesse esistere almeno dal secolo precedente e se tale ipotesi venisse confermata la pieve di San Pietro in Mercato sarebbe una delle più antiche del territorio valdelsano unitamente alla pieve di San Lazzaro a Lucardo e alla pieve di Sant'Appiano. Nel nome della chiesa è inserito il toponimo in Mercato, di questo mercato che si doveva tenere nei pressi dell'edificio esiste una testimonianza in un documento risalente al 1108.

La struttura attuale delle pieve è sostanzialmente quelle dell'edificio consacrato nel 1057, nonostante la ricostruzione postbellica, che comunque ha ricostruito le forme originarie. Questo è dimostrato proprio dall'organizzazione dello spazio interno che è tipica degli edifici realizzati alla metà dell'XI secolo. La chiesa ha una struttura a tre navate terminante con altrettante absidi, ma a differenza di quanto accade negli edifici realizzati nel XII secolo, qui le quattro ampie campate hanno i pilastri a distanze diverse l'uno dall'altro, infatti le prime tre sono distanziate di circa quattro metri mentre la quarta supera i cinque metri. I pilastri sono di forma rettangolare di un metro di lunghezza per settanta centimetri di larghezza mentre la navata centrale è abbastanza stretta; le sue dimensioni sono circa una volta e mezza ciascuna delle due navate minori, e questi elementi, simili a quelli presenti nella pieve di san Lazzaro, danno all'interno una notevole spinta verticale.

Il fonte battesimale di San Pietro è un raro esempio di decorazione bicroma inseribile nel filone del cosiddetto romanico fiorentino del territorio valdelsano.

L'opera ha una forma esagonale ed è spartito da una cornice aggettante nella parte superiore, cornice ripetuta nella parte inferiore dove fa da basamento. L'uso del marmo bianco, gli intarsi di marmo verde di Prato e il rigore delle cornici che inquadrano i motivi decorativi di ogni specchio danno al fonte un aspetto di marcata classicità.