W 1948 z polecenia Stalina zorganizował zabójstwo Solomona Michoelsa, a w latach 1950–1951 pod jego bezpośrednim kierownictwem przystąpił do organizowania terroru, m.in. „sprawy lotnictwa”, fałszowania „sprawy leningradzkiej”, „sprawy megrelskiej”, zdaniem Stalina nie wykazał dostatecznej aktywności w „sprawie lekarzy”, za co w lipcu 1951 został zastąpiony na stanowisku ministra przez Siergieja Ogolcowa.

W listopadzie 1950 Abakumow przedstawił Stalinowi pomysł deportacji Świadków Jehowy na Syberię w ramach Operacji Północ. 19 lutego 1951 wystosował do niego tajne pismo omawiające szczegółowy plan tej deportacji, a Stalin go zatwierdziłВалерий Пасат: Трудные страницы истории Молдовы (1940–1950). Москва: Изд. Москва: Изд. Terra, 1994 ..

12 lipca 1951 po oskarżeniu przez Michaiła Riumina w piśmie do Stalina o ukrywanie wrogiej agentury, w tym figurantów rozpoczynającej się „sprawy lekarzy”, Abakumow przy udziale Berii i Malenkowa został aresztowany wraz z najbliższą rodziną (żoną i synem) i był przetrzymywany w Lefortowie, oskarżony o ukrywanie syjonistycznego spisku w MBP.