Po ataku wojsk niemieckich na ZSRR 22 czerwca 1941 r. przeszedł kurs szpiegowski w ośrodku w Szczecinie. W połowie 1942 r. został wysłany na front do północnego Kaukazu. W nocy 25 sierpnia tego roku wraz z 11 innymi dywersantami został zrzucony na spadochronie na obszar Czeczenii. Krótko przed tym został formalnie awansowany do stopnia pułkownika, aby zyskać większy autorytet wśród miejscowej ludności. Grupa dywersyjna pod dowództwem por. Gerta Reicherta miała za zadanie prowadzić działania dywersyjne i wspomóc ruch partyzancki kierowany przez Chasana Israiłowa. Natomiast Gube i czterech innych dywersantów pochodzących z Kaukazu mieli dodatkowo prowadzić antysowiecką propagandę wśród miejscowej ludności. Niemieckie władze bardzo liczyły na efekty działań Gube, zamierzając wręcz powierzyć mu funkcję nieformalnego przedstawiciela w Czeczenii. Jednakże Israiłow odrzucił pomoc od Niemców, w związku z czym niemiecki oddział ograniczył się do dywersji. Osman Gube został schwytany przez Sowietów niedaleko wioski Akki-Jurt 12 stycznia 1943 r.