Iens Steenberg (1824-1884) var født i Tønsberg, utdannet boktrykker i Holmestrand og slo seg ned som avisutgiver i Fredriksvern. Da Marinen flyttet sin virksomhet til Horten, valgte han å flytte med, og 20. juli 1851 utkom det for første gang en avis her på stedet. Steenberg kalte den Hortens Blad, men allerede fra januar 1852 ble den omdøpt, og siden har den hatt navnet Gjengangeren.
Det pussige navnet ble valgt fordi den nye avisen på Horten skulle være en gjenganger av avisen i Fredriksvern.
Avisen holdt til å begynne med til i et hus som lå mellom nåværende Storgaten 7 og 9. Steenberg solgte dette huset og bygde på sydsiden. Det brant i 1878, han bygde det opp igjen. Det brant på nytt i 1881, og etter den brannen satte han opp den gården som fortsatt står der og har adresse Storgaten 9. Her var Gjengangeren til 1915, da den flyttet opp i Storgaten 19. Derfra flyttet den i 1930 til C. Andersens gamle gård, som da nettopp var overtatt av Horten Handelsstandsforening. Etter noen år i egen gård i Vestre Braarudgate, holder avisen i dag til i Storgaten 38.
Fru Margrethe Steenberg beholdt avisen til 1900, da solgte hun den til et aksjeselskap. Efter en periode med Orkla som eier, tilhører avisen i dag Edda Media, som er en del av den internasjonale Mecom-gruppen med hovedkontor i London.
Redaktørene har vært mange. Den som har hatt lengst tjenestetid er nok Rolf Baggethun, som var redaktør fra 1935 til 1965. Andre kjente navn er Ludvig Bergh (Vandreren) og Hans-Christian Oset.