Gaten går inn fra bunnen av Jernbanegaten. Det er en kort blindvei, som i eldre tid hadde en steintrapp i enden opp til Sørbygata. På folkemunne ble den kalt for trappeveien.
Navnet har den etter den første presten i Horten, Honoratus Halling, født i 1819, som også var stedets første ordfører i 1858. Han bodde i huset på hjørnet av Storgata og Prestegata i det huset som i dag er håndverkeren.