Un primo nucleo del Castello di Gaeta fu edificato nel VI o nel VII secolo, tuttavia le prime notizie certe relative alla fortezza si hanno a partire dal XIII secolo con Federico II di Svevia che durante le lotte con il papato apportò diverse modifiche alla struttura.

Oggi il Castello di Gaeta è noto come Castello Angioino-Aragonese proprio perché composto da due edifici distinti, uno di epoca angioina e uno aragonese, messi in comunicazione tra loro. Ulteriori trasformazioni furono eseguite nel Cinquecento da Carlo V. Dunque non a torto si può parlare di due castelli; il primo, l’angioino, in posizione inferiore, è a pianta quadrata con quattro torri circolari angolari; l’altro, l’aragonese, è fortificato su tre lati da massicci torrioni cilindrici e ha un’appendice difensiva più bassa. Qui nel 1870 fu imprigionato Giuseppe Mazzini.