Omtrent der hvor boligblokken Ollebakken 16 ligger i dag, lå i gammel tid plassen Aallebakken. Den siste husmann her var Kield Taraldsen, som kom hit i 1821. Han var for øvrig svoger til Baltzer Rustad, mannen som i 1819 solgte gården Horten til staten, som hadde bestemt at her skulle den nye hovedstasjonen for marinen anlegges. Denne plassen lå på gården Hortens grunn.
Men rett over veien lå en annen stue, som var plass under nordre Braarud. Den siste beboeren her var Grethe Aallebakken. Og snart skulle det bli forandringer. I 1828 ble bygningene på Aallebakken revet for å gi plass til et sykehus for marinen. Det kostet forresten 2200 spd. eller 8800 kroner i omregnet verdi. Det var i bruk til Marinens sykehus på indre Horten ble tatt i bruk i 1840-årene. Da pasientene flyttet ut, flyttet musikantene inn, i mange år var denne bygningen tilholdssted for marinemusikken. I 1876 ble den omgjort til boliger, og den gamle bygningen endte som leiegård, og nå er den bare et minne.
Navnet Ollebakken tyder på at det en gang har vært et oppkomme - en olle - i området. Og det er ganske riktig. Den lå på oppsiden av den nåværende Østre Braarudgate. Langs Ollebakken gikk også delegjerdet mellom eiendommene Braarud og Horten, og i 1862 ble det inngått en avtale, som ga både verftet og eieren av nordre Braarud, Christen Braarud, like stor rett til å nyttiggjøre seg ollen. Også andre kunne benytte den, men da mot en årlig avgift på fire skilling.