Il castello trova le sue origini nel XIII secolo come opera fortificata. L'edificio venne successivamente adeguato alle nuove esigenze belliche nel XV secolo, epoca in cui i Saraceno erano signori di Andrano. I lavori furono sicuramente accelerati in seguito all'invasione turca che interessò la vicina Otranto nel 1480, mettendo in allarme i centri limitrofi. Lo stesso Antonio Saraceno, allora signore di Andrano, accorso in aiuto ad Otranto con un suo esercito, vi perse la vita.
Il castello presenta una pianta quadrangolare, rinforzata agli spigoli del prospetto principale da torrioni a sezione quadrata. Un cornicione marcapiano divide il piano nobile da quello inferiore, mentre la facciata conserva una caditoia, perpendicolare al portale d'accesso. Il castello nasce come masseria poi diventa masseria fortificata. E dal 1300 al 1500 si costruisce anche al primo piano.
Al primo assetto architettonico corrisponde la torre cilindrica, ornata anch'essa da un cornicione marcapiano e, in alto, da archetti e beccatelli, il fossato, ormai visibile solo sul lato posteriore dell'edificio, e la torre sud occidentale. L'edificio è stato poi oggetto, nel corso dei secoli, di continui ampliamenti e rifacimenti. Il lato occidentale è databile al XVI secolo, come attestano le modanature cinquecentesche delle finestre e lo scalone, presenti nel cortile interno. La loggia barocca, sul fronte principale, segna invece la trasformazione del maniero in dimora gentilizia; così come il doppio ordine di arcate con pilastri e lesene, presente lungo il lato settentrionale, è in linea con il gusto architettonico settecentesco. Interessante il cortile, che presenta una scala interna, tre eleganti e raffinate finestre e una colombaia. Numerose le epigrafi che si possono leggere sui fregi delle finestre e delle porte sia all'interno che all'esterno del castello.
Dopo i Saraceno, il castello divenne dimora degli Spinola di Gallipoli (1606), dei Gallone di Tricase (1618-1734) e dei Caracciolo di Marano, proprietari del castello fino a non molti decenni fa. Dopo i Caracciolo, il maniero fu in parte venduto alla famiglia Bentivoglio e in parte donato all'istituto Maestre Pie Filippini.
