Uwolniony 10 września 1944 natychmiast włączył się do pracy partyjnej, został sekretarzem KC Komunistycznej Partii Węgier, był członkiem kierownictwa narodowego ruchu oporu przeciw Niemcom, organizował walkę zbrojną. Aresztowano go ponownie po trzech miesiącach – 7 grudnia 1944. Wraz z innymi więźniami został zmuszony do pieszego marszu do Niemiec. Po drodze udało mu się zbiec. 13 maja 1945 powrócił na Węgry. Został wówczas sekretarzem komitetu budapeszteńskiego WPK. W wyborach 1945 został wybrany posłem do parlamentu z ramienia WPK, a w lutym 1946 ministrem spraw wewnętrznych w koalicyjnym rządzie Ferenca Nagya. Od 1946 był członkiem kierownictwa partii komunistycznej, a później zastępcą sekretarza generalnego partii.
Rajkowi jako ministrowi spraw wewnętrznych podlegała tajna policja polityczna AVO. Uważany jest za jednego ze współtwórców masowego terroru na Węgrzech. Za jego rządów w 1947 r. służba bezpieczeństwa aresztowała ministra oraz kilku posłów z opozycyjnej – zwycięzcy wyborów z 1945. AVO w ramach tzw. taktyki salami przeprowadziło szereg policyjnych prowokacji i aresztowań, doprowadzając do obalenia demokracji parlamentarnej na Węgrzech i przejęcia pełni władzy przez partię komunistyczną (1947).