Ble bygget i 1880 til 1883 for penger innsamlet blant sjøoffiserene. Kong Oscar II gav 4000,-, derfor kunne Wedel Jarlsberg bare gi 3800,-. Huset kostet 38 000 kroner. På veggene henger portretter av mange av de gamle sjøoffiserene, malt av O.P. Balling. Han har også bilder hengende i Senatet i USA.
Sjømilitære Samfund har først og fremst vært sjøoffiserenes tumleplass, men stedet har også vært byens storstue i alle år. Her har alle de store offisielle middagene funnet sted, og her har verftet holdt sine mange overleveringsfester.