Johannes Andersen ble født i Oslo under en oppgangstid («den første jappetid»), men som brått tok slutt i 1899. Byggevirksomheten stoppet. Dette rammet også hans far som var murer, og han måtte ta seg arbeid som melkekjører, mens moren søkte tilflukt i religion. I 1908 tok vergerådet hånd om den ti år gamle gutten og sendte ham til skolehjemmet Toftes gave på Helgøya i Mjøsa. På skolehjemmet ble barna styrt med streng, upersonlig disiplin, håndhevet av oppsynsmenn fra distriktet. Da Johannes fikk gulost i pakker hjemmefra for å spe på snaue matrasjoner, fikk han klengenavnet «Gulosten».
Fire år senere ble han sendt til Bastøy skolehjem for gutter med tilpasningsvansker, også der var det streng disiplin og straffetrusler. Både politi og forsvar ble satt inn da 29 elever gjorde opprør, og hovedmennene ble satt i enecelle med håndjern. Johannes dro til sjøs som 15-åring etter at han truet med å begå selvmord fordi ingen hadde fortalt ham at moren var dødssyk.
Under første verdenskrig ble det igjen godt om arbeid. Unggutten var i ferd med å bli etablert som murerhåndlanger med kone, barn og leilighet da nedgangen kom og det ble umulig for en som hadde bakgrunn fra skolehjem å få arbeid.