Sjøkrigsskolen ble opprettet i Stavern i 1817 og flyttet til Horten i 1864. Sjømilitære korps ble etablert i 1851. Begge hadde sitt tilhold i skolebygningene innerst i Skjerkebukta da bygget ble ferdig i 1864. Da bodde skolesjefen i bygget, men i 1871 måtte han flytte ut fordi skolen trengte mer plass.
Helt frem til 1980-tallet sto det en stor hvit mannskapskaserne langs muren mot nordvest, denne ble revet og seinere erstattet med det nye kaserne bygget som sto ferdig i 1989 da kronprinsen avtjente sin tjeneste her. Murkasernen sto ferdig i 1952 og hadde i tillegg til lugarer for elevene også spisesal og kjøkken i underetasjen.