L'edificio ha pianta quadrata ed originariamente era completamente circondato da un fossato, di cui adesso rimane solo una parte sul lato meridionale e quello orientale; aveva inoltre quattro torri angolari quadrate ed una al centro della facciata di cui si rilevano ancora le forme.
Appartengono alle trasformazioni successive le decorazioni interne la "sala delle grottesche", con affreschi di Cesare Baglione (1580), la "sala del bocchirale", la "sala rossa" con ritratti di Giampaolo IV Meli Lupi e sua moglie Ottavia Rossi di San Secondo, la "sala degli stucchi" affrescata dai Bibiena, ed infine la "galleria dei poeti", con la raffigurazione di dodici tra i maggiori poeti, che si affaccia sul laghetto del parco sottostante.
Al piano superiore si trovano la "sala del Trono", con pareti decorate da velluti e broccati, stucchi e intagli dorati. La cappella di famiglia custodisce le tombe di Ugolotto Lupi (1351) e di Francesco Meli Lupi (1669) con l'iscrizione funeraria: Quivi giace a marcir entro l'avello nudo, senza vigor, vile, fetente un lupo per venir celeste agnello.
Il parco fu trasformato in giardino "all'inglese" verso il 1820.
