Il palazzo, a tre piani, perfettamente conservato, risale ai primi anni del 1300 e sorge nella medievale e suggestiva via dei Consoli (largo del Bargello). Nell'edificio hanno sede il museo della balestra e la società degli sbandieratori.
La costruzione presenta tutte le peculiarità della tipica casa eugubina con due ingressi, il principale che dava accesso alle botteghe ed alle cantine, il minore agli appartamenti : i piani sono delimitati da raffinate cornici marcapiano, rivestiti interamente in conci che ne fanno uno dei più significativi e visitati monumenti della città umbra. Il prospetto è impreziosito da una finestra con supporto in pietra centinata, cioè con la parte terminale curvata.
Il fabbricato, oltre che per l'elegante architettura, è noto per altri due motivi. Il primo consiste nella presenza, accanto al grande portale d'entrata, della cosiddetta "porta del morto, con la soglia un po' più alta rispetto al piano stradale. Struttura caratteristica delle abitazioni medievali (se ne trova qualcuna anche nelle Marche e nel Lazio) era sempre più stretta delle altre e, secondo la tradizione, appariva ininterrottamente murata e aperta soltanto per far passare la bara del defunto, morto nella casa.
Nell'epoca delle Signorie, peraltro, si placarono gli attriti tra le famiglie di Gubbio e, per avere maggiori agi, si preferì murare l'angusta porticina e adoperare il vicino più funzionale ingresso del magazzino, riaprendo la prima solo per l'eventuale passaggio della cassa da morto.
Il secondo motivo della rinomanza del palazzo eugubino si basa sul fatto che, davanti ad esso, si trova l'omonima fontana cinquecentesca (rifatta nel 1862), denominata "fontana dei matti. Secondo un'antica tradizione tuttora in uso, infatti, lo straniero che compie tre giri di corsa intorno ad essa (mentre altre persone lo bagnano con l'acqua) acquisisce la cittadinanza di Gubbio ed il titolo onorifico di "Matto d'Agobbio".
