Il castello Caldoresco venne edificato su una struttura preesistente nel 1439 da Giacomo Caldora, una volta divenuto marchese del Vasto. I lavori di costruzione furono fatti da lui eseguire all'ingegnere senese Mariano di Jacopo, soprannominato il Taccola. Il castello è posto su un promontorio che domina la costa. Il castello è costituito da quattro corpi che delimitano un cortile interno con i lati maggiori in direzione est-ovest e bastioni su tre dei quattro angoli. Gli elementi arcaici sono presenti con delle sporgenze sui bastioni. Le facciate occidentale e settentrionale conservano strutture originali nonostante le pesanti integrazioni e sostituzioni effettuate nel XIX secolo.
