Fikk navnet etter den vannollen som lå omtrent midt i bakken. Der hvor boligblokken Ollebakken 16 ligger i dag, lå i gammel tid plassen Aallebakken. Den siste husmann her var Kield Taraldsen, som kom hit i 1821. Han var for øvrig svoger til Baltzer Rustad, mannen som i 1819 solgte gården Horten til staten, som hadde bestemt at her skulle den nye hovedstasjonen for marinen anlegges. Denne plassen lå på gården Hortens grunn. Men rett over veien lå en annen stue, som var plass under nordre Braarud. Den siste beboeren her var Grethe Aallebakken
Beboerne av Nordre Braarud og Horten var adgangsberettiget til å hente vann fra denne ollen. Ollen var meget vannrik, så det ble ført en ledning under landeveien til et gravet basseng, hvor kuene som beitet i Keisemarken kunne drikke. Da staten i 1852 oppførte bygning for verftets skole (Bjerkeskolen) i Ollebakken, ble dette bassenget overbygget, og en større pumpe ble montert.
Omkring 1900 satte det inn en rekke sommere med usedvanlig tørke, da tørket alle private brønner og Apenes-bassenget ble tømt. Ollen i Ollebakken holdt lenge stand, og i disse tørkeårene ble det fra pumpen i Ollebakken kjørt vann så å si til hele byen.
Går vi 130 år tilbake i tiden, var Ollebakken en av de sentrale og travle gatene. Her var det skoler, byens bank lå her, her var det handelsmenn og håndverkere. Det var dansesal i denne gaten. Selv lensmannen i Borre hadde sitt kontor i denne gaten noen år. Gjennom Keisemarken var gaten innfartsveien til ladestedet fra nord