L'aspetto attuale del fortilizio si deve infatti ai Viceré spagnoli, che ne fecero un vero e proprio capolavoro di architettura militare: opere di difesa straordinaria furono attuate nel 1535 da Don Pedro di Toledo, di cui rimane lo stemma sul portale d'ingresso e sulla cortina esterna. I due bastioni poligonali aggiunti nel 1578 sul versante rivolto al mare, inglobarono il preesistente bastione aragonese. Alla metà del secolo successivo il leccese G. F. Saponaro fu incaricato di rafforzare ulteriormente il Castello. Questo si presenta oggi a pianta pentagonale, circondato da un ampio fossato e scandito da quattro torri, tre circolari in carparo e una con la punta protesa verso il mare; sul quinto lato, scoperto, si apre il ponte levatoio.
La fortezza otrantina ispirò il primo romanzo gotico della storia, Il castello di Otranto, di Horace Walpole (1764).
