Castello de' Monti, attestato sul versante sud-est dell'antica cerchia muraria, il Castello de' Monti rappresenta, secondo le parole di G. Bacile di Castiglione, il «più bel monumento di architettura militare e feudale del principio del Cinquecento in Terra d'Otranto», ed è sicuramente il modello più compiuto del trapasso dalle torri quadre a quelle rotonde: il castello ha infatti impianto quadrangolare con quattro torri angolari a base scarpata e a tre livelli di fuoco, circondato da un profondo fossato. Di impianto medievale, il castello fu radicalmente ristrutturato e ampliato tra il 1514 e il 1519 da Giovan Battista de' Monti che lo adeguò alle esigenze belliche ed ai princìpi dell'arte militare del tempo avvalendosi di maestranze locali.
È interamente circondato da un fossato e si sviluppa su una pianta quadrata ai cui angoli si innestano quattro poderosi torrioni circolari; a questi era affidata la maggiore efficacia dell'intero sistema difensivo, come denotano le numerose cannoniere che si aprono lungo i fianchi in corrispondenza delle casematte interne disposte a piano terra ed a primo piano. Ogni torrione presenta l'araldica dei de' Monti accompagnata dalle raffigurazioni allegoriche delle quattro virtù cardinali e dai bassorilievi di altrettanti Santi sotto la cui protezione è posto ciascun torrione. Guardando la facciata principale, il torrione a sinistra è intitolato a San Michele Arcangelo la cui effigie è affiancata dall'allegoria della fortezza; il torrione a destra è intitolato a Sant'Antonio Abate al quale è affiancata, anche se ormai praticamente cancellata per l'erosione del materiale lapideo, l'allegoria della temperanza. Gli altri torrioni sono intitolati a San Giorgio e a San Giovanni Battista, ai cui bassorilievi sono associate, rispettivamente, le raffigurazioni allegoriche della prudenza e della giustizia.
Venuta meno l'originaria funzione difensiva che sicuramente restò di primaria importanza per tutto il Cinquecento, alla metà del Seicento il castello fu adattato, secondo la moda del tempo, ad esigenze estetiche e di rappresentatività della famiglia del feudatario. Infatti, il duca Francesco Trane, appartenente alla famiglia feudataria che nel 1651 aveva acquisito il feudo dall'ultimo dei de' Monti, nel 1667 ingentilì l'austero edificio militare facendo costruire una nuova facciata, sovrapposta alla preesistente, sulla quale schierò una serie di statue allegoriche accompagnate da iscrizioni celebrative e dai busti dei grandi condottieri del passato; al centro fece porre la sua statua affiancata dalle allegorie della giustizia e della carità.
