Il castello vero e proprio è nominato in un editto del 1266 con il quale l'imperatore Federico di Svevia concedeva a Tancredi, visconte di Campiglia, il possesso di Fighine e altri castelli. Anche Ludovico il Bavaro confermò Fighine ai Visconti. La posizione rese Fighine oggetto di dispute fra capitani di ventura e piccoli nobili locali fino a quando non fu occupato dalle truppe di Cortona e ceduto a Paolo Orsini. Fra i successivi proprietari spicca la figura del condottiero Baldaccio d'Anghiari. Alla sua morte, nel 1441, la Repubblica Senese ottenne il controllo del castello.
L'attuale particolare struttura del cassero conserva la forma quadrangolare con tre torri angolari di cui una quadrata e molto più alta delle altre, il nucleo più antico del fotilizio e per questo detta anche 'Torre Vecchia' con resti di beccatelli, una ottagonale sull'angolo di nord-ovest e l'altra più piccola e semi-ottagonale al cui fianco si apre la porta principale di accesso al borgo. Dalla torre quadrata e da quella semiottagonale partono le mura di difesa, aventi spessore di circa 1,5 metri e intervallate da piccole torri rotonde, che, seppure in gran parte dirute, circondano ancora il borgo. Una di dette torri fu utilizzata come abside della Chiesa di San Michele Arcangelo.
Nel tratto in cui si apre la porta, le mura sono ancora dell'altezza originaria con tracce dei beccatelli in pietra che sorreggevano il ballatoio. Il corpo centrale della fortificazione, torri e residenza signorile, ha le mura fortemente scarpate, divise da un redondone in pietra dalla parte verticale e coronate da beccatelli.
