Jego pozycję dodatkowo osłabiło odsunięcie od władzy Ławrientija Berii.

Koniec kariery w UB Śmierć Stalina rozpoczęła krytykę nadużyć aparatu bezpieczeństwa początkowo w ZSRR, a następnie w Polsce. Władze komunistyczne próbowały w sposób niezwykle powierzchowny przeprowadzić operację mającą na celu ukaranie winnych nadużyć w aparacie bezpieczeństwa. Jesienią 1953 Centralna Komisja Kontroli Partyjnej (CKKP) w Warszawie otrzymała skargę przeciwko Różańskiemu, wniesioną przez torturowane przez niego członkinie PZPR H. Siedlik i E. Piwińską, które w lipcu 1953 zwolniono z więzienia. Kobiety oskarżyły Różańskiego o stosowanie tortur. Skarga zawierała opis metod stosowanych w śledztwie. Jej autorki oskarżyły wręcz Różańskiego, że jest zboczeńcem i sadystą. Stało się to podstawą wszczęcia przez CKKP sprawy przeciwko Różańskiemu. Do oskarżenia włączyła się także niechętna Różańskiemu Julia Brystygierowa. 5 marca 1954, na mocy rozkazu personalnego nr 222 podpisanego przez ministra Stanisława Radkiewicza, zwolniono Różańskiego z zajmowanego stanowiska w MBP, ale zachował on stopień pułkownika.

Aresztowanie i proces