Ble bygget i 1880 til 1883 for penger innsamlet blant sjøoffiserene. Kong Oscar II gav 4000,- derfor kunne Wedel jarlsberg bare gi 3800,-. Huset kostet 38000 kroner. På veggene henger portretter av mange av de gamle sjøoffiserene, malt av O.P. Balling. Han har også bilder hengende i Senatet i USA.
Sjømilitære Samfund har først og fremst vært sjøoffiserenes tumleplass, men stedte har også vært byens storstue i alle år. Her har alle de store offisielle middagene funnet sted og her har verftet holdt sine mange overleveringsfester.