Ekserserhuset, lokalt benevnt -x-en, var gymnastikksal for Sjøkrigsskolen (Søcadetinstituttet) som flyttet hit fra Fredriksvern i 1864 og holdt til her frem til 1940. Bygningen ble etter krigen brukt av Sjømilitære korps og seinere av Befalsskolen for marinen.
Dette var landets føste innendørs idrettshall med håndballbane og turnhall. Ekserserhuset ble gjennom historien også benyttet til sivil bruk og var i mange år et viktig samlingssted for andre typer arrangement, dans, konserter og offentlige arrangement..