Mellom de små husene i Storgaten og sjøen kom det beskjedne, krokete gater, den nordligste av dem er Skippergaten. I nr. 6 bodde skipper Hans Fredrik Gjermundsen Holm, som var fra Hallingrød i Slagen. Han giftet seg inn i « jordaristokratiet» i Horten, med en datter av Erik Braarud, Anne Karine, og i 1848 flyttet de til Horten. Skipper Holm var en dyktig og kjent mann, og gaten fikk navn etter hans yrke.
Gaten fikk sitt navn ved den store gatenavndåpen i et av de første møtene i Horten kommunestyre - 27. august 1858. Det var 26 gater som fikk navn.