Il nucleo originario del Palazzo dei Vicari era costituito, probabilmente, dalla sola torre che, nel corso del Trecento, doveva essere la residenza del Capitano. Dopo l'erezione della "terra nuova" a sede vicariale (1412) si resero necessari consistenti ampliamenti e modifiche: tra questi la sistemazione degli ambienti al primo piano, come la cappella e il salone, e la realizzazione dell'attuale ingresso.
Il Palazzo dei Vicari di Scarperia è stato inizialmente sede del podestà e poi dei Vicari, diventando nel 1415 sede del Vicariato della Repubblica Fiorentina che l'aveva fondata nel 1306, come avamposto militare e luogo di controllo della viabilità transappenninica, rappresentando l'unica via di comunicazione fra Firenze e Bologna fino alla metà del XVIII secolo.
In facciata e nell'atrio trovano collocazione numerosi stemmi dei Vicari che si sono succeduti nel governo, avendo essi l'obbligo al termine della loro carica di sei mesi, di lasciare l'emblema della propria casata. Diversi sono in terracotta invetriata e provengono dalle Botteghe di ceramisti di Firenze. Infatti gli stemmi di Bernardo Lucalberti, 1490, e di Antonio Lorini, 1491 sono assegnati a Benedetto Buglioni, mentre a Santi Buglioni sono attribuiti quelli di Francesco da Casavecchia, del 1528, e di Gianfranco Baroncelli, del 1537.
All'interno del Palazzo possiamo ammirare un affresco della scuola del Ghirlandaio, del 1501, ed anche l’antico orologio della torre campanaria opera documentata di Filippo Brunelleschi, unica testimonianza della sua attività nel campo dell'orologeria, anche se la sua produzione è stata più ampia, come ci testimoniano i biografi Manetti e Vasari. Interessante è l'affresco con l'Incredulità di San Tommaso di scuola fiorentina del XV secolo, situato nel grande atrio, il quale rappresenta un modello iconografico che ricorre spesso per i giudici, i quali come San Tommaso devono “toccare con mano” prima di sentenziare la loro verità.
