W 1924 wyjechał do Moskwy, przyjął obywatelstwo radzieckie i pracował w kontrolowanym przez OGPU Wydziale Łączności Międzynarodowej (OMS) Kominternu. Wówczas był wysłany kilkakrotnie z misjami szpiegowskimi do państw skandynawskich i Wielkiej Brytanii. Ponieważ z powierzonych zadań wywiązał się bez zarzutu, w listopadzie 1928 generał Jan Bierzin, szef wywiadu wojskowego Sztabu Generalnego zwerbował go do wywiadu wojskowego – GRU, którego agentem pozostał do końca życia.
W 1930 został wysłany do Szanghaju, gdzie pod przykrywką korespondenta „Frankfurter Zeitung” prowadził działalność szpiegowską dla GRU. W tym czasie zwerbował Ruth Kuczyński ps.Sonia. Pomimo że Kuczyński była mężatką, została jego kochanką. Tam poznał japońskiego dziennikarza Hotsumiego Ozaki, pracującego dla gazety „Asahi Shimbun”, z którym później podjął współpracę szpiegowską. W styczniu 1932 opisywał chińsko-japońskie walki uliczne w Szanghaju. W grudniu tego roku został odwołany do Moskwy. Sorge został odznaczony i ożenił się (po uzyskaniu rozwodu) z Jekatieriną Maksimową, z którą współpracował w Chinach i z którą powrócił do Moskwy. W 1933 został wysłany do Berlina, aby odnowić kontakty z redakcją „Frankfurter Zeitung”. Umożliwiło to wysłanie go jako niemieckiego korespondenta do Japonii. 6 września 1933 przybył w tym charakterze do Jokohamy.