II wojna światowa 5 września 1939 ewakuował wraz z Kierownictwem Marynarki Wojennej do Pińska, następnie przekroczył w Kutach granicę polsko-rumuńską udając się do Francji, a następnie do Wielkiej Brytanii. W tym samym roku podpisywał wraz z Wodzem Naczelnym, generałem broni Władysławem Sikorskim i ambasadorem Edwardem Raczyńskim umowę polsko-brytyjską. Generał Sikorski powierzył mu dalsze pełnienie funkcji szefa Kierownictwa Marynarki Wojennej.
W 1941, wkrótce po awansie na wiceadmirała, popadł w konflikt z generałem Sikorskim, który postanowił go odwołać. W konsekwencji posadę stracił także zastępca wiceadmirała Świrskiego komandor Karol Korytowski. Powodem tych dymisji był sposób prowadzenia polityki kadrowej i uposażeniowej w Marynarce Wojennej, a przede wszystkim dążenie admirała do większej samodzielności. Pretekstem stała się samobójcza śmierć dowódcy ORP "Wilk" i grupy okrętów podwodnych, komandora podporucznika Bogusława Krawczyka, który nie mógł pogodzić się z polityką kadrową admirałaJerzy Świrski. Kontrowersyjny admirał.