Edificato nel X secolo, divenne di proprietà, nel XIII secolo, della potente famiglia dei Montecchi. Il castello venne ricostruito e potenziato da Ezzelino III da Romano nel 1243. Nel 1269 l'edificio venne occupato da Pulcinella delle Carceri e da alcuni fuorusciti di Verona, in lotta con Mastino I della Scala, che lo adibì a proprio rifugio.
Nel 1279 venne donato a Niccolò della Scala, figlio di Mastino I da parte del pontefice papa Niccolò III, riconoscente verso gli Scaligeri per la cattura da parte di questi, a Sirmione, di un gruppo di eretici Albigesi (Catari). Agli inizi del XV secolo venne occupato dalla Repubblica di Venezia, dopo averlo strappato ai Carraresi, alleati a quel tempo con Guglielmo della Scala, figlio illegittimo di Cangrande II della Scala, eletto da loro a signore di Verona nel 1404.
Per i suoi meriti militari, i veneziani nel 1509 concedettero Illasi in feudo al loro valoroso condottiero conte Girolamo Pompei, detto "Malanchino", la cui famiglia vantava da secoli diritti in quei luoghi. Al condottiero andò il merito di aver catturato e tradotto nelle carceri veneziane l'8 agosto dello stesso anno, il marchese di Mantova Francesco II Gonzaga, partito alla conquista di Legnago.
Il castello, a pianta quadrata di 10 metri di lato, è affiancato dal cassero, utilizzato dal corpo di guardia. Una cinta muraria delimita tutta la collina ed è caratterizzata da una sola apertura a meridione.
