Lungo il tracciato tra Gravina e Spinazzola, a 3 km da Poggiorsini, sorgeva il Castello del Garagnone. Il rinvenimento di iscrizioni d'età romana sembrano avallare l'ipotesi che il Garagnone insista sul luogo di fondazione dell'antica Silvium, città peuceta citata da Strabone, da Diodoro Siculo, da Livio, oltre che da vari itinerari antichi, come centro importante, conquistato dai Romani nel 250 a.C. Proprio ai piedi della rocca doveva passare la via Appia.
Ma solo a partire dal XII secolo la storia del Garagnone incomincia a delinearsi con chiarezza. Nel 1129 compare per la prima volta in alcuni documenti il nome di Rogerius Varannone, feudatario di Terlizzi. Nel 1197 il castello viene donato ai Frati di San Giovanni Gerosolimitano di Barletta che lo conserveranno fino alla metà del XIV secolo. In più occasioni il Garagnone è citato come castello di Federico II. In particolare il castrum compare in un elenco di castelli e domus imperiali federiciani (lo Statum de reparatione catrorum del 1241-1246+). Dopo la morte di Federico II di Svevia, anche gli Angioini prestarono particolare cura al Garagnone. L'importanza del castello derivava soprattutto dalla sua posizione privilegiata che insieme ai Castelli di Monte Serico e di Palazzo San Gervasio formava un sistema efficace di controllo e di difesa proprio ai confini della Lucania. Funzione militare quindi ma non solo. Il castello e il casale sono presenti in cronache che indicavano anche l'importanza produttiva del luogo, nonché fu un importante possedimento dei Grimaldi Principi di Monaco Marchesi di Campagna dal 1532 al 1641.
