Od 13 lipca 1794 Scherb służył w Savenay, w Armii Renu. W dniu 6 grudnia 1794 komisarze Konwentu przy Armii Renu i Mozeli (Représentant en mission) zadecydowali o tymczasowym nadaniu mu stopnia generała brygady. Od 4 stycznia 1795 Scherb dowodził drugą brygadą w dywizji marszałka Laurenta Gouvion-Saint-Cyr, pod Moguncją. W dniu 13 czerwca 1795 decyzją Komitetu Ocalenia Publicznego zatwierdzono mu stopień generała brygady.
Uczestniczył w odwrocie ósmej dywizji (pod wodzą Pierre’a Antoine’a Courtota) spod Moguncji w dniu 29 października 1795. Od 30 grudnia 1795 służył w ósmej dywizji (pod wodzą Pierre’a Marie Ferino) wchodzącej w skład Armii Renu i Mozeli. Z kolei w kwietniu 1796 był dowódcą brygady w szóstej dywizji (generała Guillaume’a Philiberta Duhesme). Od 27 kwietnia 1796 pełnił obowiązki komendanta garnizonu w Landau. W dniu 19 lipca 1796 przekroczył Ren w celu obserwacji miejscowości Philippsbourg. Natomiast w dniu 31 lipca 1796 powierzono mu zadanie utrzymania garnizonów Mannheim, Philippsbourgu oraz w Bruchsal.