Il museo occupa una superficie di 522,4 mq. al piano terra parzialmente interrato a partire dall’ala destra del palazzo dal cui androne, che ospita una statua di matrona romana e basi marmoree con iscrizioni, si accede a tre grandi sale con volte a crociera. Gli oggetti in esposizione sono circa 2600. La prima sala espone reperti di vario genere di epoca romana, prevalentemente da collezione dell’Olivieri: ritratti in marmo, fondi di coppe vitree graffite e iscritte, un larario puerile e parte della collezione numismatica. Nella seconda sala si trovano i reperti della necropoli di Novilara (secc. VIII-VII) tra i quali spicca la famosa stele della naumachia. La terza sala mostra diverse sezioni che comprendono sia oggetti provenienti da scavo, come i reperti del Luco o Bosco sacro pesarese (databili tra il III sec a.C. e il I sec. d.C.), o la “tabula fabrorum” in bronzo. Molto importanti sono poi le epigrafi, dall’età romana arcaica al rinascimento, che sono murate nell’area cortilizia e alle pareti dello scalone balaustrato in marmo del palazzo, cippi e marmi prevalentemente di provenienza locale. La documentazione di cultura materiale e artistica non si esaurisce nelle sale espositive del museo, ma comprende avori, bronzetti, gemme, cammei, monete, medaglie e placchette, visibili nella sala affrescata “dello Zodiaco” in biblioteca.

Alla biblioteca che nasce unitamente al Museo a metà del Settecento per volere del nobile Annibale Olivieri è accreditato oggi un patrimonio di 360.000 opere a stampa che datano a partire dal Quattrocento, tra le quali 390 incunaboli, 2264 manoscritti, un fondo diplomatico di altrettante pergamene, migliaia di cinquecentine e seicentine, carte geografiche, mappe, disegni e incisioni e, naturalmente, una cospicua raccolta di opere moderne e contemporanee che costituiscono il corpo forse ancor meno noto dell’Istituto.