Po rocznym zawieszeniu, jakie nałożyła na niego angielska federacja, wrócił do zawodu, co wzbudziło wiele kontrowersji. We wrześniu 1996 roku objął stanowisko szefa Leeds United. Jego taktyka pozostała niezmieniona, szkoleni przez niego zawodnicy bardzo dobrze wypełniali jego polecenia gry ultradefensywnej, czego efektem była jedna z najniższych w lidze liczba straconych bramek – jednak piłkarze z Elland Road tylko 28 razy trafiali do siatki przeciwników... Efektem pomysłu na grę Grahama było dziesiąte miejsce w tabeli. W następnym sezonie było już znacznie lepiej i razem z Martynem, Hartem, Woodgatem, Radebe, Kewellem, Bowyerem, Smithem oraz Hasselbainkiem udało się sięgnąć po piąte miejsce w ostatecznej klasyfikacji, premiowane startem w przyszłorocznej edycji Pucharu UEFA.
Po dwuletnim pobycie w Leeds, Graham zdecydował się na powrót do miasta położonego nad Tamizą. Tym razem powierzono mu graczy Tottenhamu Hotspur. Jego jedynym sukcesem z Kogutami było poprowadzenie ich do zwycięstwa w Pucharze Ligi, po zwycięstwie nad Leicesterem City. W Premier League trenowani przez niego gracze spisywali się jednak przeciętnie, zajmując miejsca w środku tabeli. W marcu 2001 roku został wyrzucony przez nowego prezesa, Daniela Levy’ego. Do zawodu już nie wrócił.