Wzięty do niewoli, trafił do więzienia w Janinie, skąd wkrótce został zwolniony. W czasie I wojny bałkańskiej dowodził oddziałem, walczącym w obronie Korczy przed oddziałami greckich nacjonalistów. Po utworzeniu rządu Ismaila Qemala objął stanowisko podprefekta w Skraparze, a następnie szefa policji w Korczy. W kwietniu 1914 oddział albański, dowodzony przez Germenjego i dwóch oficerów holenderskich Shnellena i Doormana odzyskał miasto z rąk greckich. Po zajęciu Korczy przez wojska greckie w 1915 wyemigrował do Rumunii, a stamtąd do Sofii, gdzie wspólnie z Kristo Dako wydawał pismo Biblioteka Zëri i Shqipërisë. W 1916 pojawił się w Pogradcu, okupowanym przez wojska austro-węgierskie, aby szukać poparcia dla sprawy albańskiej. W październiku 1916, kiedy do Korczy wkroczyły oddziały francuskie zdecydował się na podjęcie z nimi bliskiej współpracy.