Il Castello di San Giusto è situato in cima al colle omonimo, nei pressi di alcuni resti di epoca romana corrispondenti ad una Basilica e un Foro. La costruzione del Castello avvenne per volere dell'imperatore Federico III, a partire dal 1470, per ospitare il Capitano Imperiale. L'edificio prevedeva una costruzione rettangolare a due piani con una torre adiacente, la residenza del Capitano.

Nei secoli successivi fu edificato, intorno a questo nucleo originario, il Castello a struttura triangolare. Nei primi anni del Cinquecento fu realizzato il bastione di forma circolare e verso la metà del Cinquecento vide la luce un nuovo bastione, realizzato secondo una pianta poligonale. Il Castello di San Giusto fu utilizzato come caserma e carcere. Nel 1930 il Comune divenne proprietario dell'edificio e commissionò l'avvio di consistenti lavori di restauro, per eliminare le aggiunte ottocentesche.