Il Castello sorge su di una piccola altura, a poca distanza dal fiume Chiascio e lungo i confini che dividevano i territori del Comune di Assisi da quelli di Perugia. Costruito quasi interamente in blocchi di arenaria, conserva ancora ben visibile la cinta muraria che ne scandisce lo sviluppo rettangolare, con torri d'angolo. La porta d'accesso è protetta da una possente torre con bertesche, su cui sono ancora ben visibili le fenditure per le calate del ponte levatoio.
Del Castello si ha notizia già dal 1114 in documenti conservati presso l'Archivio della Cattedrale di Assisi. Per la particolare posizione fu teatro di lotte di potere, che si protrassero fino al XV secolo. Nel 1479 assieme ai Castelli di Rocca Sant'Angelo, Mora e Beviglie fu oggetto di consistenti lavori di restauro da parte del Comune di Assisi. Attualmente si può ancora ammirare nella sua originaria struttura, solo in parte alterata per la parziale trasformazione ad uso abitativo.
