Sorto nel 1271, nel corso del regno di Carlo I d'Angiò, Castel Sant'Elmo era originariamente costituito da un palatium medievale, chiamato Belforte, di forma quadrata, fortificato con mura e torri sul lato frontale.
Successivamente ad opere di ristrutturazione e fortificazione degli elementi difensivi, prende il nome di castrum Sancti Erasmi.
Il castello ha subito molte trasformazioni prima di giungere tra il 1538 e il 1546, all' odierna pianta stellare a sei punte, perfettamente funzionale alla natura strategico-difensiva del luogo.
Domenico Fontana nel 1587 si occupò della ristrutturazione dell'edificio danneggiato da un fulmine, mantenendo inalterato l'aspetto originario.
In seguito all'ultimo restauro, effettuato nel 1976 dal Provveditorato alle Opere Pubbliche, il castello è stato adibito ad attività culturali di grande interesse e dotato di un auditorium in grado di ospitare oltre settecento spettatori.
