Il primo documento scritto che cita la pieve di San Martino in Rafaneto è del 1059, anche se la prima testimonianza certa è del 1230. L'abside è parte più antica e risale X secolo, mentre il campanile è del XIII secolo. Il resto dell'edificio è invece ascrivibile al XII secolo. Quasi certa è la presenza di una costruzione antecedente l'attuale, a sua volta edificata su resti romani. In particolare, negli scavi archeologici del 1893 sono emerse lapidi e un orologio solare di età imperiale. La pieve ebbe il periodo più fiorente tra Medioevo e Rinascimento, entrando in decadenza a partire dal XVII secolo. Nei secoli fu destinata ad altri usi, come quello agricolo, che ne hanno minato lo stato di conservazione. La stessa facciata non è più visibile in quanto inglobata nella muratura di una casa colonica. La chiesa è stata oggetto di un intervento di restauro che ha recuperato parte del comparto decorativo di epoca romanica.