Minister ds. imigracji Między 13 lipca 1945 a 19 grudnia 1949 był pierwszym w historii ministrem ds. imigracji w rządzie Bena Chiefleya. Na tym stanowisku stworzył podstawy powojennego, australijskiego planu imigracyjnego. Spopularyzował slogan „populate or perish” („zaludnić bądź zginąć”). Program ten zbiegł się w czasie z gwałtownym rozwojem gospodarczym, dla którego utrzymania niezbędna była siła robocza. Jedynym jej dostępnym źródłem była powojenna Europa, gdzie miliony ludzi zmieniło miejsce zamieszkania. Dlatego w lipcu 1947 roku podpisał porozumienie z Organizacją Narodów Zjednoczonych ds. Uchodźców (United Nations Refugee Organisation) w sprawie przyjęcia uchodźców (tzw. displaced persons, dipisi) z obozów Organizacji w Europie.
Mimo rozpoczęcia masowego programu imigracyjnego był znanym zwolennikiem „White Australia Policy” - rasistowskiej praktyki nieprzyjmowania imigrantów pochodzących z Azji Południowo-Wschodniej. Podczas wojny dotykała ona także uchodźców wojennych. Dochodziło także do wydalania ludzi którzy poślubili australijskich obywateli i założyli rodziny. Poglądy Calwella na „White Australia Policy” często są podpierane jego własnymi słowami, które wygłosił w parlamencie: „Two Wongs don’t make a White".