Il castello dei Principi d'Acaja si staglia maestoso nell'omonima piazza della cittadina caratterizzandone lo skyline. Simbolo della città, fu costruito al centro dell'antico borgo di Fossano, in posizione panoramica e ben difendibile, per volere di Filippo I di Savoia-Acaia.
Nel Quattrocento furono realizzate l'aula magna o sala del trono, l'alloggio del principe, la cappella, le cantine ed il cortile con porticato a colonne in marmo bianco, i cui capitelli furono scolpiti da Gaspare Solari. Sul lato nord fu eretta la quinta torre per le cucine, i forni ed i servizi.
Nella seconda metà del Seicento il castello fu trasformato in carcere. Nel 1689, 1800 Valdesi della Val Pellice vi furono rinchiusi: quasi tutti morirono di stenti. In seguito, il castello divenne un quartiere militare. Furono costruiti le caserme, le stalle, i magazzini del grano, nuovi corpi per ospitare le truppe. Dalla copertura del fossato si ricavò una piazza d'armi.
Il castello dei Principi di Acaia è dal 1985 sede della biblioteca civica. Sono in consultazione oltre 100.000 volumi con un fondo storico di 20.000 volumi, arricchito nel 1998 dalla donazione di orientalistica di Mario Vallauri.