Na grobie rodzinnym na cmentarzu Rakowickim umieścił epitafia braci: Franciszka i Stefana, zamordowanych przez NKWD w Charkowie i Katyniu, podając miejsca ich śmierci.
Zmarł 21 stycznia 1983 roku w Krakowie i został pochowany na cmentarzu Rakowickim (kwatera U-rząd wsch.). Jego pogrzeb przemienił się w wielką manifestację patriotyczną. mały|Grób płk. Józefa Herzoga na cmentarzu Rakowickim Józef Herzog był żonaty z Marią Sworzeniówną, z którą miał jedną córkę.
W 1994 roku nakładem Instytutu Józefa Piłsudskiego w Ameryce ukazała się jego książka wspomnieniowa Krzyż Niepodległości. Wspomnienia ze służby w Legionach.
Ordery i odznaczenia Krzyż Srebrny Orderu Virtuti Militari (1939) Krzyż Niepodległości (9 listopada 1931)M.P. z 1931 r. nr 260, poz. 352 „za pracę w dziele odzyskania niepodległości”. Krzyż Walecznych (czterokrotnie, po raz pierwszy i drugi w 1921)Rozkaz Ministra Spraw Wojskowych L. 2142 z 1921 (Dziennik Personalny z 1922 r. Nr 1, s. 62) Złoty Krzyż Zasługi (25 maja 1939) „za zasługi w służbie wojskowej”. Srebrny Krzyż Zasługi Odznaka „Za wierną służbę” Odznaka za Rany i Kontuzje
Przypisy Grażyna Falkiewicz: Józef Herzog: W stulecie urodzin. „Oleandry. Biuletyn Związku Piłsudczyków Oddział Świętokrzyski w Kielcach”.