Po rozbiciu białogwardzistów wyemigrował przez Konstantynopol do Francji, a następnie Jugosławii, gdzie prowadził antysowiecką działalność. Wydał też swoje pamiętniki, w których opisywał szczególnie okres walk z bolszewikami. Był zwolennikiem niezależności kozackiej.
II wojna światowa W okresie II wojny światowej podjął współpracę z Niemcami. Brał udział wspólnie z atamanem Piotrem Krasnowem w tworzeniu antysowieckich oddziałów kozackich złożonych z białych emigrantów i żołnierzy Armii Czerwonej wziętych do niewoli. Nie był nazistą, ale liczył, że z pomocą Niemców uda się wyzwolić społeczność kozacką spod tyranii stalinowskiej. We wrześniu 1944 r. stanął na czele Rezerwy wojsk kozackich z siedzibą w Berlinie. Został też nominalnym dowódcą 5 kozackiego pułku szkoleniowo-rezerwowego. Ponadto wszedł w skład Głównego Zarządu Wojsk Kozackich w Berlinie. W połowie maja 1945 r. wraz z kozackimi podkomendnymi poddał się Brytyjczykom na terenie Austrii, po czym został osadzony w obozie jenieckim. Andriej G. Szkuro wraz z pozostałymi oficerami kozackimi pod koniec maja tego roku został przekazany Sowietom (patrz: operacja Keelhaul), pomimo że nigdy nie był obywatelem Rosji Sowieckiej.