Museet ble etablert i 1853 av kommandørkaptein Klinck som overlot sin private samling til Marinen. I 1864 ble Marinemuseet flyttet fra sine lokaler i Marinesykehuset til Magasin A, hvor museet fortsatt hoder til. Museet ble drevet av Sjøforsvaret som etatsmuseum, men ble på 1980-tallet en del av Forsvarets museer og i fra 2024 en del av Forsvarshistorisk museum.
Museet har som hovedoppgave å vise den sjømilitære historien fra 1814 og frem til i dag. Museet regnes å være blant de eldste sjømilitære museene i verden og har sin helt spesielle atmosfære og opplevelse.