Il castello di Conversano è una struttura trapezoidale di origine normanna, ma successivamente modificata e rimaneggiata, soprattutto nel XV e nel XVII secolo, in modo da tramutarla da fortezza originaria qual era in fastosa dimora signorile.
Effettuando il giro del perimetro della costruzione, possiamo notare ancora un grosso torrione cilindrico della prima metà del XV, secolo come attestato dallo stemma ancora presente sulla parte sommitale della torre come da ultimo notato. Il torrione infatti era stato dalla Letteratura considerato della fine del Trecento e attribuito in genere alla committenza dei Lussemburgo, ma in verità tutto ciò è smentito dalla presenza dello stemma Del Balzo-Orsini-Acquaviva. Sull'altro angolo è presente l'enorme bastione dodecagonale munito di merlatura per le bocche da fuoco, risalente alla fine degli anni Novanta del Quattrocento. Più antichi, invece, risultano i tre massicci torrioni quadrati (XI-XII secolo), di cui il torrione maestro è di età normanna e sorge su preesistenti mura megalitiche (per alcuni tratti ancora visibili), e qualche resto di finestre ogivali e circolari. La porta d'ingresso, il muro di cinta del cortile e la pregevole galleria che gira nell'interno dell'atrio risalgono invece al 1710, anno in cui furono fatte costruire dalla contessa Dorotea Acquaviva.
L'ingresso nel castello avviene non da Piazza Castello, bensì dall'adiacente Piazza della Conciliazione, dove si accede tramite il portale del 1710, di linee barocche. Si arriva così nel cortile interno, a portico e loggia su due lati. L'appartamento dei signori presenta ancora in alcune sale l'antico arredamento dei secoli XVI-XVII. Spettacolare, per bellezza ed estensione, è inoltre la vista dall'alto della torre che domina il cortile, eretta nel XIV secolo da Gualtiero di Brienne.
