È il museo più antico della Puglia, fondato nel 1868 da Sigismondo Castromediano, duca di Cavallino; conserva numerose testimonianze della civiltà messapica e degli insediamenti romani. Nella sezione preistorica è stata ricostruita la Grotta dei Cervi di Porto Badisco, con interessanti pitture rupestri.

Nella pinacoteca, situata al piano superiore del palazzo, sono esposti dipinti che documentano gli influssi bizantini e veneziani sul lavoro degli artisti locali, dal medioevo fino al XVIII secolo (opere di Bartolomeo Vivarini, Paolo Finoglio, Pacecco De Rosa, Agostino Beltrano, Antonio Verrio e Oronzo Tiso). Una sezione è dedicata alle cosiddette arti minori: ceramiche, vasellame, avori, bronzi e argenti di età barocca.