Venne costruito tra il 1486 e il 1498 dal celebre architetto Francesco di Giorgio Martini in stile rinascimentale in stretta affinità col gusto del Laurana. Si presenta come un parallelepipedo dalla solida massa tagliata e pulita che rispecchia con mirabile nobiltà le tendenze volumetriche del periodo. Si compone di tre facciate in laterizio, di cui una principale, e si alza su due piani divisi da cornicioni-marcapiano con un doppio ordine di belle finestre crociate "alla guelfa" munite di cornici in pietra finemente scolpite; un cornicione di coronamento ad archetti ciechi completa il sottotetto. Ai quattro angoli dell'edificio sono degli scudi araldici sporgenti con delle piccole teste di leone e cornucopie. Tutte le decorazioni architettoniche che completano le facciate furono eseguite da Michele di Giovanni da Milano e dal figlio Alvise, sul disegno del Martini. Sul fronte sinistro, che dà sulla centrale via Pergolesi, già degli Orefici, si aprono tre porte, di cui quella centrale, detta della "Salara", ha un elegantissimo portale rinascimentale ad arco ribassato sempre disegnato dal Martini, ma realizzato da Giovanni di Gabriele da Como. Nel 1551 il palazzo era stato completato con una slanciata torre a tre ordini merlati e cupola finale, su disegno dell'architetto Andrea Sansovino, che crollò nel 1657 a seguito di un terremoto. Riedificata nel 1661, per mancanza di fondi non venne mai ultimata.
L'interno del palazzo è tutto incentrato sul cortile; dal tracciato rettangolare con portico terreno e due ordini di logge di 14 campate. Ogni piano si presenta diverso dall'altro nell'impiego dei materiali e crea quindi un suggestivo effetto di colori. È stato disegnato da Andrea Sansovino, chiamato a Jesi nel luglio del 1519. Le volte e le lunette del loggiato una volta erano interamente decorate da affreschi cinquecenteschi, forse di Pietro Paolo Agabiti, dei quali oggi si conservano solo pochi resti. In posizione arretrata rispetto al centro, c'è un pozzo costruito in pietra da Giovanni di Gabriele da Como.
