Centro fortificato e residenza dei Da Spezzano, nel XII secolo, e dei Da Castello nel XIV. Divenne feudo dei Pio, signori di Carpi, nel 1395, e da allora fu una delle sedi più importanti della loro Signoria fino alla fine del 1500.
Al primo piano del castello, nella parte nobile, si trova la "Galleria delle battaglie". Si tratta di un corridoio affrescato restaurato e riportato alla luce nel 1992 poiché in precedenza era stato ricoperto e quindi non visibile. Gli affreschi raffigurano le gesta che Alfonso I d'Este duca di Ferrara, Modena e Reggio fece realizzare tra il 1527 ed il 1531. Enea Pio commissionò i dipinti per celebrare le più importanti imprese di Alfonso I d'Este a cui la famiglia Pio aveva partecipato, come la battaglia di Polesella del 1509 o la battaglia di Ravenna del 1512.
Situata al piano terra si trova la sala più grande del castello denominata "Sala delle vedute", così chiamata per gli importanti affreschi rappresentanti appunto "vedute" delle località dei dintorni così com'erano nella seconda metà del XVI secolo. Le cinquantasette immagini furono scelte per magnificare la potenza dei Pio mostrando tutti i loro possedimenti ripartiti nelle cinque podesterie di Sassuolo, Spezzano, Formigine, Brandola e Soliera. L'artista Cesare Baglione le dipinse su commissione del signore di Sassuolo Marco III Pio di Savoia che considerava il maniero sua residenza estiva e preferita. I dipinti furono realizzati probabilmente tra il 1595 ed il 1596. Gli affreschi furono restaurati per la prima volta nel 1735 dal marchese Luigi Coccapani, poi nell'Ottocento ed anche nel 1990.
