Il castello, che sorge ad un'altezza di circa 340 metri, sulla collina di San Nicola del Vaglia, fu costruito probabilmente sotto Mansone I di Amalfi dopo la conquista del borgo di Castrum Licterensis da parte degli Amalfitani: la principale funzione della struttura era quella di confine e prevenire eventuali attacchi dal golfo di Napoli al ducato di Amalfi; il castello inoltre proteggeva entro le sue mura una chiesa, alcune abitazioni e diverse botteghe.
Il castello è a forma trapezoidale con quattro torri: una, chiamata Torre del Grano, in quanto utilizzata come deposito del cereale, è più bassa rispetto alle altre tre, le quali presentano una base scarpata; in una torre inoltre è stato ricavato anche un lavatoio in muratura e diverse vasche. Il mastio è a pianta poligonale e fu edificato durante l'epoca sveva, con mattoni di tufo rosso, e ristrutturato durante la fase angioina. Due le porte di accesso: la principale, a saracinesca, di cui rimangono solo gli stipiti ed una, più piccola, situata ad est, andata però completamente distrutta; sullo stesso versante sono ancora presenti le mura con doppia merlatura e torrette. All'interno del castello si notano bassi muretti, quasi certamente basamenti di mura di diverse costruzione e strutture con coperture a volta, probabilmente delle cisterne o una cappella.
