W czasie śledztwa był wielokrotnie poddawany torturom.
Na posiedzeniu wyjazdowym w dniach 12–19 grudnia 1954 Wojskowego Kolegium Sądu Najwyższego ZSRR w Leningradzie został uznany za winnego fabrykowania spraw sądowych i innych przestępstw związanych z nadużywaniem stanowisk, zdrady ojczyzny, szkodnictwa narodowego, dokonywania aktów terroru, uczestnictwo w kontrrewolucyjnej organizacji – został za to ostatniego dnia procesu skazany na rozstrzelanie, wspólnie z wykonawcami „sprawy leningradzkiej” (A. Leonowem, W. Komarowem i M. Lichaczowem). Wyrok wykonano 24 grudnia 1954 (inne źródła podają 18 grudnia 1954).
W 1994 wyrok został (pośmiertnie) zamieniony na 25 lat pozbawienia wolności bez konfiskaty mienia i przekwalifikowany na artykuł dotyczący przestępstwa przeciwko zasadom pełnienia służby wojskowej.
Żona Abakumowa, Antonina (ur. 1920), córka estradowego artysty-hipnotyzera Ornaldo (Nikołaja A. Smirnowa), była kapitanem bezp. państwowego. W lipcu 1951 została aresztowana razem z małoletnim synem (ur. w kwietniu 1951), 3 lata przebywała w więzieniu.