ll castello si erge sulle fondamenta di una antica villa romana, proprietà del giureconsulto Ulpiano; nel XII secolo fu eretta la torre normanna, tuttora esistente, allo scopo di proteggere il litorale dalle incursioni piratesche e nel XVI secolo, la torre d’avvistamento fu circondata da alte mura di recinzione collegate tra loro da diverse torrette circolari.
Durante il pontificato di Papa Urbano VIII il castello entrò in possesso della famiglia Barberini, la quale intraprese lavori di ampliamento e sistemazione; solo nel 1887 il castello divenne proprietà del Principe Baldassarre Odescalchi, avo degli attuali proprietari.
In anni recenti il castello è stato oggetto di un intenso e definitivo recupero da parte della pubblica amministrazione. Ultimamente sono venute alla luce due importanti scoperte archeologiche: un tratto di mura poligonali databili III secolo a.C. e alcuni tratti di mura risalenti al XIII secolo.