W sierpniu 1948 Zachariadis, niemający żadnego przygotowania wojskowego, przejął dowództwo DSE z rąk Wafiadisa. Opowiadał się za przekształceniem oddziałów partyzanckich w regularną armię i konsekwentną zmianą taktyki walki. Zmiany te przyniosły DSE krwawe klęski, w zestawieniu z ogromną dysproporcją sił między siłami lewicy a wojskami rządowymi, wspieranymi przez USA. Ponadto w tym samym 1948, po wybuchu konfliktu między ZSRR a Jugosławią, Zachariadis poparł Stalina, przez co stopniowo tracił poparcie Tity, który ostatecznie zamknął w lipcu 1949 granicę grecko-jugosłowiańską. W kolejnym miesiącu DSE poniosło ostateczną klęskę w górach Grammos. 16 września 1949 KKE ogłosiła „czasowe zakończenie walk”. Winą za przegraną komunistów Zachariadis obarczył przywódcę jugosłowiańskiego.
Liderzy greckich komunistów zostali zmuszeni do emigracji; zdelegalizowana w kraju partia kontynuowała działalność, jej przywódcy przebywali w krajach Bloku Wschodniego. Sam Zachariadis ukrywał się w Taszkencie. Opowiadał się za zachowywaniem w gotowości bojowej ostatnich oddziałów DSE na emigracji, zwalczał opozycję w szeregach partii.