Del 1229 è il documento con il quale l'imperatore Federico II di Svevia ratifica il possesso, da parte di Recanati, delle terre che andavano dal Musone al Potenza, autorizzandovi la costruzione di un nuovo porto e delle strutture atte a difenderlo. La concessione federiciana venne confermata nel 1240 da papa Gregorio IX e, nel 1243, sotto il pontificato di Innocenzo IV divenne porto franco.
L'edificio si presenta come un vasto quadrilatero con un'alta torre principale a metà circa del lato est, verso il mare. La torre venne eretta prima dell’intera fortificazione con evidenti scopi di vedetta. Lungo il perimetro delle mura, nell'angolo sud ovest, si trova una seconda torre di forma semicircolare che venne costruita intorno al 1400. Su tutta la cinta muraria è visibile un camminamento di ronda utilizzato per la guardia e la protezione dall’alto.
Attualmente l’ampio cortile ospita l’arena “B. Gigli” intitolata al celebre tenore recanatese che, durante la stagione estiva, diviene palcoscenico di spettacoli ed eventi culturali.
Al primo piano dell'edificio residenziale del castello è possibile visitare la Pinacoteca Comunale che ospita opere collezionate dal cittadino recanatese Attilio Moroni (1909 – 1986) storico rettore dell’Università degli studi di Macerata, giurista e appassionato d’arte; la sala di ingresso è invece dedicata al pittore portorecanatese Biagio Biagetti (1877 – 1948).
