Costruzione tardo-medioevale, ha subito molti rimaneggiamenti nel corso dei secoli. Di pianta quadrangolare con quattro bastioni d'angolo, nove cellule a piano terra ed altrettante al primo piano. Il secondo piano è stato ricavato in epoca successiva da un sottotetto. Tutte le cellule sono con volta a crociera, salvo quella centrale a piano terra, che in origine era probabilmente una corte.
Il primo restauro, di cui si ha notizia è del 1675, durante il dominio di Antonio de Ponte. Intorno al 1860 dalla famiglia Caracciolo, viene sottoposto ad ulteriori lavori su progetto dell'arch. Ascanio Amenduni di Casamassima, che ne stravolgono l'aspetto. A questo intervento, sono da attribuire la costruzione delle torri merlate, la nuova facciata di prospetto con il bugnato di rivestimento e lo scalone interno centrale. Tra la prima e la seconda guerra mondiale, subisce altri interventi, con il rifacimento del solaio del secondo piano e con la costruzione di altre due torrette merlate. Negli ultimi anni di questo secondo millennio, è stato sottoposto ad ulteriori lavori, per riportarlo per quanto possibile, almeno nella sistemazione interna, al suo aspetto originario.
