W początkach swojej kariery wojskowej i politycznej działał głównie w rejonie Kaukazu, Armenii i Azerbejdżanu. W 730 roku uczestniczył w misji do Armenii swojego kuzyna Maslamy ibn Abd al-Malika. Odznaczył się wówczas w walkach, dzięki czemu został mianowany gubernatorem Azerbejdżanu i Armenii. Według At-Tabariego urząd ten objął bezpośrednio po Maslamie w 732 roku. Inne źródła podają zaś, że na tym stanowisku w 734 lub 735 roku zastąpił Sa'ida ibn Amr al-Harashiego.
Podczas swojego namiestnictwa w Azerbejdżanie i Armenii wspierał miejscowy ród Bagratydów przeciwko ich politycznym konkurentom – Mamikonianom. Wygnał z kraju Dawida i Grzegorza Mamikonianów, gdy Ci nie zaakceptowali powołania Aszota Bagrata na stanowisko zarządcy Armenii. W 737 roku wspomagany przez siły armeńskie wyprawił się na Kaukaz. W 744 roku, gdy Jazid III objął władzę w kalifacie po zamordowaniu Al-Walida ibn Jazida, rozważał wyprawienie się na południe w celu walki z nowym władcą. Został jednak powstrzymany przez wykrycie w swojej armii spisku Thabita ibn Nu'ayma, przedstawiciela Jemenitów. Thabit został wówczas aresztowany, zaś Jemenici odesłani do Syrii.