W 1877 r. do miasteczka przyjechał na weekend jeden z przyjaciół ojca Johna, dziennikarz nazwiskiem Annesley. Był on dobrze obeznany z systemem stenograficznym Pitmana, więc postanowił dokładnie zanotować całe kazanie miejscowego pastora. Ten jednak bardzo się tego obawiał, gdyż skopiował je od pewnego sławnego kaznodziei i nie chciał, by wyszło to na jaw. Po tym wydarzeniu Gregg zrozumiał, że umiejętności stenograficzne są bardzo cenne, więc kazał swoim dzieciom obowiązkowo się ich uczyć. Wyjątkiem był John, którego rodzina uważała za zbyt „prostego”, by mógł je opanować. Jednak żadne z dzieci nie nauczyło się go w pełni, z wyjątkiem Johna, który sam nauczył się go z książek.
Z powodu trudnej sytuacji rodzinnej, jeszcze przed ukończeniem trzynastego roku życia porzucił szkołę i poszedł do pracy. Pomagał w biurze prawnym za pięć szylingów tygodniowo.