Il castello fu costruito dai conti Della Torre di Rezzonico durante il XIV secolo, nel luogo dove in precedenza sorgevano probabilmente fortificazioni di epoca più antica. Nel corso del XVI secolo, fu occasionalmente occupato dai soldati di Gian Giacomo Medici.
Il castello è dotato di pianta all'incirca trapezoidale, con tre torri e due ingressi. Si trattava di un "castello-recinto", cioè un'area di circa duemila metri quadrati dal perimetro murato che conteneva le abitazioni e la torre principale. Più che un castello vero e proprio, pertanto, consisteva in un'opera di fortificazione estesa all'intero abitato.
Probabilmente sostituì una precedente fortificazione del borgo di Rezzonico, i cui resti sono ancora visibili in pochi lacerti del muro di cinta, in una Trecentesca torre merlata e in due porte d'accesso del vicino centro abitato.
Oggi il castello è caratterizzato dall'alta torre medioevale con coronamento a merlatura ghibellina.
