Venne costruito nel XII secolo per volere dei conti Sanframondo in una posizione strategica fra monte Acero e monte Monaco di Gioia, in una posizione elevata rispetto al corso del fiume Titerno. Tra il XV e il XVI secolo i Monsorio sottoposero l'edificio a un'importante ristrutturazione che gli conferì l'attuale aspetto. I Monsorio restaurarono l'edificio prendendo spunto da Castel Nuovo a Napoli come si evince dalla planimetria, dal prospetto principale e dall'impostazione del cortile interno. Il castello è a pianta trapezoidale con agli angoli tre delle quattro torri cilindriche originarie, una delle quali (quella che guardava verso la Collegiata di Santa Maria Assunta) è crollata nei secoli scorsi probabilmente a causa di uno dei tanti terremoti che si sono avvertiti nella zona.
