Za namową posła rosyjskiego w Warszawie Grzegorza Dołgorukiego w 1721 roku wstąpił do służby w armii rosyjskiej na stanowisku generała inżyniera. W roku 1722 został generałem lejtnantem. Kierował pracami przy budowie kanału Ładoga i kanału odwadniającego, a także kanałów na rzece Tosna. W 1728 roku został generał-gubernatorem Ingrii, Karelii i Finlandii.
Podczas panowania cesarzowej Anny Romanowej (i jej ministra Andrieja Ostermanna) w 1730 roku został feldmarszałkiem i przewodniczącym rady wojennej. Działając na tym stanowisku miał wielkie zasługi w reorganizacji armii rosyjskiej, m.in. zakładając korpus kadetów, który miał w przyszłości dostarczyć armii rosyjskiej wielu wybitnych oficerów. Od 1732 prezydent Kolegium Wojennego. W roku 1734 kierował oblężeniem Gdańska podczas wojny o sukcesję polską. W Gdańsku przebywał pretendent do polskiej korony Stanisław Leszczyński. W latach 1735–1739 dowodził wojskami rosyjskimi na Krymie i w Besarabii. W 1736 podczas wojny z Turcją prowadził działania na wybrzeżach Morza Czarnego, zdobywając m.in. w 1737 roku Oczaków, a w 1739 roku wygrywając bitwę pod Stawuczanami, po czym zdobył Chocim, co umożliwiło mu opanowanie Mołdawii.