Kariera reprezentacyjna W reprezentacji Stanów Zjednoczonych Harkes zadebiutował 23 maja 1987 roku w przegranym 0:2 meczu z Kanadą. W 1988 roku został powołany do kadry olimpijskiej na Igrzyska Olimpijskie w Seulu, jednak Amerykanie odpadli już po fazie grupowej. W 1990 roku Bob Gansler powołał Johna do kadry na Mistrzostwa Świata we Włoszech. Tam był podstawowym zawodnikiem swojego zespołu i zaliczył trzy grupowe spotkania: z Czechosłowacją (1:5), z Włochami (0:1) oraz z Austrią (1:2).
Z kolei w 1994 roku na Mistrzostwach Świata w USA Harkes także wystąpił w trzech meczach: ze Szwajcarią (1:1), z Kolumbią (2:1) oraz z Rumunią (0:1). W tym drugim meczu po jego dośrodkowaniu samobójczą bramkę zdobył Andrés Escobar, za co kilka dni później został zastrzelony w ojczyźnie. W 1995 roku John dotarł z USA do półfinału Copa América 1995 i zajął 4. miejsce. Za swoją postawę został wyróżniony nagrodą MVP turnieju wraz z Urugwajczykiem Enzem Francescolim. W 1998 roku Steve Sampson pominął go w wyborze kadry na mundial we Francji. W 1999 roku zajął 3. miejsce z Amerykanami w Pucharze Konfederacji 1999. Ostatni mecz w kadrze narodowej rozegrał w styczniu 2000 przeciwko Chile (1:2).