Thorvald Rygh var Gjengangerens redaktør fra 1900, men forlot avisen brått etter en kontrovers med styret og startet dagen efter sin egen avis, en begivenhet som ble forbigått i taushet av hans gamle avis. Hortensposten holdt til snekker Mathisens gård, der hvor Postkontoret kom senere, på hjørnet av Apotekergaten og Vognmannsgaten. Rygh var en meget dyktig journalist, men forholdene på Horten var for små til at foretagendet skulle lykkes.
Avisen kom med sitt første nummer like før jul i 1903, men allerede den 7. mars 1904 var det hele over.