Secondo la tradizione sarebbe stata fondata da un monaco eremita francese, San Giusto o Giustone, con una storia simile alla contemporanea chiesa di San Baronto, la cui leggenda la vuole fondata dal monaco eremita francese Baronto.

La chiesa abbaziale mostra un'interessante struttura romanica, con influssi dell'architettura monastica cluniacense o comunque franceso. Il paramento murario in blocchi di pietra arenaria, è particolarmente conservato in facciata e sul fianco sinistro, con alcuni grandi blocchi di taglio accuratissimo. La semplice facciata è animata dal bianco e verde dei conci di marmo e di serpentino degli archi del portale e della bifora soprastante, secondo l'influsso del romanico pisano e pistoiese. Sul fianco sinistro e separata dalla chiesa si trova la massiccia torre campanaria la cui cella su tamponata nell'Ottocento, ed il cui paramento murario a blocchi molto più piccoli rivela una fase costruttiva successiva. La torre è congiunta alla chiesa da un passaggio costruito in epoca successiva. Nella zona della tribuna si trovano i volumi cilindrici delle tre absidi, ognuna di esse aperta da una doppia monofora corrispondente alla chiesa superiore e alla sottostante cripta.

All'interno la pianta è a croce commissa con un'unica navata coperta con volta a botte, ritmata da grandi archi trasversali; il presbiterio, a tre absidi separate, è rialzato su una bassa cripta, accessibile dall'esterno, con piccole navate sorrette da pilastri, rifatte, forse dopo un crollo duecentesco.