Il Castello di Ripafratta venne costruito intorno al 1162-1164, come appare in un preventivo di spesa negli statuti Comunali, per una spesa di 1000 soldi per la costruzione di mura e di fossati. Situato a 68 m. sul crinale del colle Vergario, si presenta una fortificazione costituita da un ampio cassero a poligono irregolare, con tre torri: una isolata al centro e due aderenti alla cortina muraria. Una seconda cerchia muraria, a livello inferiore, recingeva l'abitato che, come risulta da alcune illustrazioni miniate, digradava verso Pisa. La tecnica muraria, a piccoli conci di calcare selcifero e massiccio sommariamente squadrati e spianati a mazzetta, è la stessa adottata nelle mura urbane negli anni 1155-1162.
La porta di accesso originale, rinvenuta recentemente in occasione di alcuni scavi archeologici, per la forma ogivale dell'arco è identica ad alcune delle mura di Pisa. Alla fine del Duecento, o più probabilmente agli inizi del Trecento, un' altra fase di lavori portò al raddoppio speculare della cinta muraria esterna estendendola anche verso il versante lucchese per la probabile difesa di un insediamento in crescita. Le nuove mura furono rafforzate da una torre a valico della porta di accesso dal crinale del colle.
