Swoją karierę zakończył w 1989 roku.
Kariera trenerska Po zakończeniu kariery piłkarskiej Rohr został trenerem. W 1990 roku po raz pierwszy został trenerem Girondins Bordeaux. Następnie klub ten prowadził też w latach 1991–1992 oraz 1996. W tym trzecim przypadku doprowadził Bordeaux do finału Pucharu UEFA, w którym francuski zespół uległ 0:2 i 1:3 Bayernowi Monachium.
W latach 1999–2000 Rohr prowadził US Créteil-Lusitanos, w latach 2002–2005 – OGC Nice, w latach 2005–2006 – BSC Young Boys, a w latach 2007–2008 – w AC Ajaccio. W 2008 roku wyjechał do Afryki i przez rok był trenerem tunezyjskiego Étoile Sportive du Sahel. W 2009 roku wrócił do Francji i krótko był trenerem FC Nantes.
21 lutego 2010 Rohr został mianowany selekcjonerem reprezentacji Gabonu. Na stanowisku tym zastąpił Francuza Alaina Giresse'a. Rohr poprowadził Gabon w Pucharze Narodów Afryki 2012, którego Gabon jest współgospodarzem. W 2012 roku został selekcjonerem reprezentacji Nigru, z którą awansował na Puchar Narodów Afryki 2013.