Il palazzo è un esempio di architettura militare del XVI secolo con i suoi imponenti bastioni poligonali. Fu edificato nel 1542 per volere di Cesare Alidosi e Rizzardo, suo zio. Fu costruito in pochissimi anni e con un grande dispendio economico che fece nascere delle controversie tra i familiari. Alla morte di Rizzardo, cui fece seguito l’anno seguente quella di Cesare, i lavori si fermarono e i bastioni di sud-ovest e nord-ovest rimasero incompleti. Vi è discordia fra gli storici in merito al nome dell’architetto che progettò il maniero. Sono stati citati tra gli altri il Bramante e Francesco da Sangallo. Del disegno originale (corpo centrale e quattro torrioni angolari a punta di diamante), negli anni 1542-1545 furono edificati due torrioni e l'edificio di raccordo. Costituisce tutt'oggi il miglior esempio architettonico di Rinascimento fiorentino in Romagna.
