12 lutego 1941, po utworzeniu Ludowego Komisariatu Bezpieczeństwa Państwowego (NKGB) powrócił do Moskwy, gdzie 25 lutego 1941 został jednym z zastępców Ławrientija Berii – ówczesnego Ludowego Komisarza Spraw Wewnętrznych (szefa NKWD). 19 lipca 1941 został dodatkowo szefem Zarządu Wydziałów Specjalnych (kontrwywiad w wojsku i innych formacjach zbrojnych), gdzie po ataku III Rzeszy na ZSRR prowadził akcję likwidacji najwyższych dowódców Armii Czerwonej oskarżonych o zdradę i tchórzostwo. Stanowisko to sprawował do 14 kwietnia 1943. 4 lutego 1943 został mianowany komisarzem bezpieczeństwa państwowego II rangi.
Szef kontrwywiadu 19 kwietnia 1943 wydziały specjalne zostały wyłączone z NKWD i przekazane do nowo utworzonego Głównego Zarządu Kontrwywiadu SMIERSZ (GUKR, Главное управление контрразведки СМЕРШ) przy Ludowym Komisariacie Obrony ZSRR. Abakumow stanął na jego czele w randze zastępcy ludowego komisarza obrony, kierując kontrwywiadem armii i floty. Jednocześnie pracownicy SMIERSZa prowadzili filtrację uwolnionych z niewoli żołnierzy radzieckich i rozpoznanie niepożądanych elementów na terenach zajmowanych przez armię.