W następnych latach sędziował wiele walk.
Kiedy w 1909 roku biali szukali pięściarza, który mógłby zdetronizować Jacka Johnsona, Jeffries wiódł spokojne życie, nie uprawiał żadnego sportu i doszedł do imponującej wagi 144 kg. Został jednak namówiony na powrót do ringu, wznowił treningi, wyjechał nawet do sanatorium w Karlsbadzie w celu zrzucenia nadmiaru wagi. W krótkim czasie stracił ponad 40 kg, co jednak fatalnie odbiło się na jego zdrowiu i psychice. Gdy 4 lipca 1910 roku w Reno stanął w ringu naprzeciw Johnsona był senny, ociężały, bez formy. W obecności 42000 widzów został sponiewierany, zmaltretowany, wydrwiony przez rywala i w końcu znokautowany w 15. rundzie. To była jego ostatnia walka, potem stoczył jeszcze kilka pokazówek. Jim Jeffries jest uznawany za jednego z najsilniejszych fizycznie mistrzów świata w historii. Jego styl opierał się na walce z przysiadu, zadawaniu silnych ciosów sierpowych oraz na wielkiej odporności – pierwszy i jedyny raz znalazł się na deskach w swojej ostatniej walce z Johnsonem.