I dag ligger det en todelt bygning ned mot kanalen. På folkemunne kalles den sykestua. Den har sin bakgrunn i at etter krigen og med sykehuset nedbrent, trengte marinen å få på plass sin lege- og helsetjeneste. Da, like etter krigen, lå bare den røde mursteinsbygningen her.
Denne eldste delen, ble opprinnelig bygget som farsott- eller epidemisykehus og sto ferdig i 1918. Bakgrunnen for byggingen var erfaringene fra spanskesyken som herjet hardt på Karljohansvern på slutten av 1. verdenskrig. Da døde mange av den smittsomme sykdommen, og lærdommen var at syke mennesker måtte isoleres for ikke å spre sykdommen til andre.
Med bakgrunn i dette ble epidemisykehuset bygget, delvis på stedet der den tidlige byvollen startet. Bygningen har tre innganger, og kunne på den måten holde syke pasienter adskilt. I den vestre inngangen var det legekontor, laboratorium og tannlege. De to siste var sengeposter.
Etter krigen i 1945 var dette for lite til å kunne dekke sjøforsvarets behov når sykehuset nå var borte. Derfor ble den grønne delen bygget. Her ble det i hovedetasjen fire sengeposter, to firemannsrom og ett tomannsrom, vaktrom og nytt tannlegekontor i underetasjen.
I 2005 ble bygningen overtatt av Horten kommune, og i dag holder Lokalhistorisk Senter til i bygget.