Il castello di Gangi sorge fra la fine del XIII e i primi decenni del XIV secolo ad opera di Enrico Ventimiglia e viene completato probabilmente dal nipote Francesco I Ventimiglia, conte di Geraci e signore di Gangi. Il castello non fu dimora abituale per i Ventimiglia, che preferirono quello di Geraci e quello di Castelbuono. L'edificio, molto simile a quello di Castelbuono, appartenne alla famiglia Ventimiglia sino al 1625, anno in cui passò in possesso della famiglia Graffeo e qualche anno dopo alla famiglia Valguarnera.
Nel corso del Seicento, l'antico maniero subì numerose trasformazioni, tali da renderlo più un palazzo che un castello. Sede dei Principi di Gangi, venne abitato dai Graffeo e saltuariamente dai Valguarnera in periodo estivo, sino a metà Settecento. Successivamente l'edificio rimase in stato di abbandono e venne utilizzato come carcere e poi come scuola, finché non venne acquistato dalla famiglia Milletarì, che tuttora lo utilizza come abitazione privata: parte dell'antico castello è anche proprietà della famiglia Ventimiglia di Monteforte, discendenti dall'antico casato madonita. L'edificio, sito nell'alto di una cresta che da più di 1000 m di quota sovrasta l'abitato e domina le due valli del torrente Rainò.
Il castello, o meglio, l'ala che ne rimane presenta fondamentalmente invariato il suo impianto trecentesco, ma la stessa cosa non può dirsi della facciata che, volta a sud-ovest sulla piazza Valguarnera, si eleva con due piani. L'ampio fronte contenuto fra due torri, apparentemente di epoche differenti, è scandito da due ordini di aperture, con robusto portale bugnato a piano terra, a sua volta sormontato dall'unico balcone del prospetto): l'impianto della facciata, così come lo scalone interno che conduce ai piani superiori, furono opera della famiglia Graffeo a metà del Seicento. Dalla parte opposta, coerentemente alle sue funzioni difensive, si affaccia sullo strapiombo settentrionale del monte Marone.
