Il 30 aprile1674 ebbero inizio gli scavi per gettare le fondamenta del grandioso edificio dei Conti di Carpegna. Fino allora i Conti e le loro famiglie avevano sempre abitato nella vecchia Rocca, un castello fortificato di cui oggi non rimane più traccia, posto su uno sperone roccioso al disopra dell'attuale palazzo. La Rocca comprendeva, oltre al castello dei Conti, anche le abitazioni dei pochi abitanti del paese. L'esigenza di una dimora più comoda e facile a raggiungersi e nello stesso tempo dotata di più moderni mezzi di difesa e che fosse degna della nobiltà della famiglia, portò alla costruzione del nuovo palazzo signorile. Con ogni probabilità molto materiale fu recuperato smontando parzialmente la vecchia rocca ormai fatiscente ed usato per la costruzione del nuovo edificio.
Il progetto fu affidato dal Cardinale Gaspare Conte di Carpegna ad uno dei migliori architetti del tempo: Giovanni Antonio De' Rossi di Roma. Nei primi quattro anni i lavori procedettero piuttosto a rilento, datasi la necessità di drenare le numerose falde acquifere con la costruzione di canali sotterranei a "volta di mattoni" che convogliassero e facessero defluire l'acqua.
