Nel 1749 l'architetto fiorentino Ferdinando Fuga fu chiamato a Napoli da re Carlo III di Borbone, che gli affidò l'incarico di progettare un gigantesco Albergo dei Poveri, volto ad accogliere le masse di poveri dell'intero Regno. Il progetto del sovrano si inseriva in una precisa temperie storica, influenzata dalle teorie dell'illuminismo napoletano; pochi anni prima egli aveva anche promosso i lavori dell'Albergo dei Poveri di Palermo.
Fuga individuò un luogo adeguato lungo l'importante via Foria, in un'area posta allora ai margini settentrionali della città, concependo un edificio rettangolare di dimensioni grandiose articolato su cinque cortili interni. A causa dell'immensità dell'opera i lavori si protrassero a lungo, tanto da non essere stati ancora conclusi alla morte di Fuga nel 1782, proseguendo così sotto la direzione di Mario Gioffredo e Carlo Vanvitelli prima di arrestarsi definitivamente nel 1819.
L'edificio così ultimato, pertanto, per quanto imponente non rappresentava che una porzione di quelle che avrebbero dovuto essere le sue dimensioni secondo i progetti originari; tra l'altro furono realizzati solo 3 dei 5 cortili inizialmente previsti. Tra le cause della sospensione, oltre all'ingente cifra necessaria al completamento, vi è da ravvisare un approccio da parte del nuovo re Ferdinando diverso rispetto a quello di suo padre Carlo: si decise pertanto di adottare un nuovo progetto, elaborato dall'architetto Francesco Maresca, che prevedeva un numero limitato di camerate, a vantaggio di locali più ampi dove sarebbero state allocate macchine di produzione manifatturiera. Agli inizi del XIX secolo, quindi, l'istituzione caritatevole aveva lo scopo di fornire ai bisognosi (come ad esempio gli orfani della Santa Casa dell'Annunziata, accolti a partire dal 1802) i mezzi di sussistenza e l'insegnamento di un mestiere che li avrebbero potuti rendere autonomi nella loro vita quotidiana.
Nel 1838 nell'albergo furono aperte varie scuole, tra cui anche una scuola di musica che fornì per vari anni suonatori provetti alle compagnie militari e dove si avvicendarono insegnanti celebri, tra i quali Raffaele Caravaglios, e importanti amministratori, tra cui Rodrigo Nolli.
