La maggior parte del castello è di origine medievale, con alcune parti precedenti l'XI secolo. Il fortilizio ebbe grande importanza strategica dal XIII al XV secolo per la sua posizione sul confine fra Siena e Firenze. Varie opere di restauro furono eseguite nel XVI e nel XIX secolo.
Montalto si innalza su una collina sovrastante il torrente Ambra. Oltrepassando un grande arco sormontato da una torre con caditoie si accede al cortile interno con al centro un pozzo. Sulla destra si erge la chiesa dedicata a san Martino di Tours, e sulla facciata interna del torrione d'ingresso si trova un grande affresco che ritrae la famosa scena del Santo che offre il proprio mantello ad un mendicante.
Sul lato sinistro del cortile si apre un loggiato con quattro archi, dal quale si entra nella vasta Sala d'Armi caratterizzata da un grande camino e da una ricca collezione di lance, armature e armi sia bianche che da fuoco risalenti al XIV secolo e successivi. Negli spazi tra i capitelli che sorreggono le travi di legno del soffitto si osservano pitture che raffigurano stemmi gentilizi, scene di vita quotidiana (caccia, agricoltura) e i poderi che erano legati al castello nel XVI secolo.
I merli e le feritoie della torre di guardia con base a scarpa dimostrano il suo ruolo di fortezza difensiva sul confine fra le perenni rivali Siena e Firenze. Sei altri edifici completano il piccolo villaggio, ed il complesso è circondato da una cinta di mura in pietra e mattoni che nel corso dei secoli hanno subito numerosi rifacimenti.
