La costruzione fu promossa nel XV° secolo dal conte Carlo Oliva, colto personaggio rinascimentale che aveva maturato la sua preparazione culturale nell’ambito sia della corte di Sigismondo Malatesta che della corte urbinate di Federico da Montefeltro.
Di pianta grossomodo quadrangolare, somma in esso sia le caratteristiche del fortilizio che del palazzo signorile: ad attestare la sua funzione di fortilizio concorre la presenza di merli ghibellini, di beccatelli, del cammino di ronda e la presenza di poche e piccole aperture; a sottolineare, invece, la sua funzione di dimora signorile è la facciata sud verso la piazza, caratterizzata dalla presenza di due ordini di finestre abbastanza ampie, il primo costituito da monofore ed il secondo da finestre con soglia e trabeazione in arenaria. Se abbastanza anonimo all’esterno all’interno il conte Carlo cercò di dare alle stanze del castello un tono più che mai dignitoso, anche qui prendendo ad esempio il palazzo dei duchi di Urbino da poco costruito: le numerose decorazioni riecheggianti quelle del palazzo dei duchi ed i soffitti voltati trasformano una semplice dimora in un vero e proprio palazzo. In questi particolari vi si può leggere un desiderio di rinnovamento tale che nello spirito è pari a quello delle corti più potenti e rappresenta nel Montefeltro un caso unico di costruzione rinascimentale.Poco lontano dal Palazzo dei Conti Oliva si erge una spettacolare torre circolare sicuramente rinascimentale: il suo impianto circolare è da ricollegare alle architetture martiniane, presenti nell’urbinate in esempi numerosi.
