Z rozkazu Abakumowa w Budapeszcie został aresztowany Raoul Wallenberg – szwedzki dyplomata, który w czasie wojny uratował tysiące ludzi. W 1944 Abakumow był jednym z organizatorów deportacji ludów Północnego Kaukazu. Jednocześnie od stycznia do lipca 1945 był pełnomocnikiem LKSW 3 Frontu Białoruskiego. 9 lipca 1945 został mianowany generałem pułkownikiem.

Zaraz po wojnie, na osobiste polecenie Józefa Stalina, zbierał materiały obciążające marszałka Gieorgija Żukowa. Stanowisko szefa Smiersza sprawował do jego rozformowania i włączenia struktur do Ministerstwa Bezpieczeństwa Państwowego ZSRR jako III Zarządu 27 kwietnia 1946.

Minister bezpieczeństwa i aresztowanie 4 maja 1946, w związku z wejściem SMIERSZa w skład MBP (III Zarząd) Stalin mianował Abakumowa ministrem bezpieczeństwa państwowego. Jednocześnie w latach 1946–1951 był członkiem Komisji Biura Politycznego CK WKP(b) do Spraw Sądowych. W skład MGB Abakumow stopniowo przejął z MWD milicję, straż przemysłową, straż sądową, jednakże w maju 1947 z podporządkowania został mu zabrany wywiad.