Mimo że Węgry pozostały sprzymierzone z III Rzeszą, Kállay i Horthy pozostali zasadniczo konserwatywni i obojętni faszyzmowi, a rząd węgierski odmówił w uczestniczeniu w łapankach Żydów, a także pozwolił prasie lewicowej działać bez większej ingerencji. Premier poparł wysiłki Niemiec w walce z ZSRR, jednak powoli zabiegał także o względy zachodnich mocarstw. Na początku 1943 roku Adolf Hitler zażądał usunięcia Kállaya z urzędu, co jednak nie nastąpiło. 15 marca 1944 III Rzesza rozpoczęła , uderzając z czterech stron na Budapeszt. Regent Horthy został zmuszony do zdymisjonowania Kállaya i zastępienia go bardziej uległym wobec Niemiec następcą – dotychczasowym posłem Węgier w Berlinie Döme Sztójayem.
Z początku Kállayowi udawało się unikać Gestapo, jednak ostatecznie został złapany i wysłany najpierw do obozu koncentracyjnego Dachau, a następnie do Mauthausen. Pod koniec kwietnia 1945 roku został przeniesiony do Tyrolu razem z innymi współwięźniami, gdzie zostali uwolnieni z rąk SS przez żołnierzy Wehrmachtu (uwolnienie zakładników SS w Tyrolu Południowym).