La biblioteca nasce nel 1765 grazie all'opera del vescovo di Agrigento, Andrea Lucchesi Palli, membro della famiglia principesca dei Lucchese Palli. Il vescovo lasciò la biblioteca in eredità agli agrigentini, ma questa fu vittima di infestazioni e frane e fu trascurata fino al 1977, anno in cui iniziarono i lavori di restauro.
Nei primi anni di vita, la biblioteca godette di notevole prestigio e prosperità, grazie soprattutto alla mole notevole di libri e oggetti donati dal vescovo. Questi, infatti, già da diversi anni possedeva una vasta collezione di volumi (circa 20.000 tra libri di scienze, diritto, teologia e letteratura), e rari oggetti antichi, come gemme, pietre dure, antiche monete romane, greche e siciliane: il tutto fu reso disponibile agli studiosi per la consultazione. Il vescovo donò alla biblioteca anche mobili, come tavoli di lettura e scaffalature pregiate, e fece incidere sul marmo il regolamento d'uso della Biblioteca, che era gestita da una delegazione di canonici.
La biblioteca si articola su tre piani: al piano terra si trovano l'ingresso e un ampio salone, attrezzato per accogliere convegni e per la riproduzione di diapositive e filmati. Tale salone è stato dotato anche di alcune vetrine per esporre temporaneamente elementi del patrimonio. Al primo piano sono presenti altre due sale, con scaffali di legno restaurati dalla Soprintendenza dei Beni Artistici e Storici e la statua di monsignor Lucchesi Palli.
