La costruzione del palazzo ebbe inizio nel 1445 per volere di Giovanni Vulpano, riutilizzando una precedente torre medioevale, i cui resti sono stati recentemente rinvenuti in corrispondenza del loggiato. La torre era stata forse costruita intorno al 1156, quando Goffredo Vulpano giunse a Bitonto per sfuggire alle devastazioni di Guglielmo il Malo. Secondo la data incisa sul portale l'opera è da ritenersi completata solo nel 1501. Fino al 1734 il palazzo fu in possesso dei Vulpano, e solo dopo l'estinzione di questa famiglia, passò ai Sylos con i quali i Vulpano erano imparentati.
La facciata presenta un andamento irregolare, dovuto anche all'adattamento al pendio naturale del terreno. Il portale d'ingresso mostra invece lo stile tardo-gotico aragonese. Oltre l'androne, coperto da una volta a botte, si apre un cortile quadrangolare nel cui bassorilievo del fregio si concentrano quasi tutte le decorazioni dell'edificio: su di esso infatti, sono raffigurati diversi personaggi del casato, alcuni dei quali facilmente identificabili grazie alle epigrafi (Annibale è raffigurato insieme a Scipione e Antonio Pio con l'imperatore Nerone). Vi si trovano inoltre una scena con il mito di Orfeo e una con mostri marini.
Un'epigrafe nella loggia testimonia le relazioni commerciali intrattenute dai Vulpano con altre importanti casate italiane. Sulla volta centrale delle logge è inoltre presente uno stemma della famiglia Vulpano, cui si aggiunse più tardi quello della famiglia Sylos, quando questa divenne proprietaria del palazzo.
L'interno fu rifatto e della struttura originaria rimangono solo i piani superiori. In epoca successiva l'edificio ha subito aggiunte che hanno occupato spazi originariamente all'aperto.
