Druga wojna światowa Kieffer przebywał w Nowym Jorku, gdy sytuacja w Europie stawała się coraz bardziej napięta. W maju 1939 przybył do Francji aby połączyć się z rodzinąPhilippe Kieffer, un homme avant d'être une légende, Christophe Meunier, le 20 octobre 2013.. Mimo swojego wieku (40 lat), 2 września zgłosił się na ochotnika do wojska jako oficer rezerwy. Przyjęty w stopniu podporucznika do wojsk lądowych jako tłumacz, osiem dni później przeniósł się do Marynarki Wojennej. Był sekretarzem admirała północnej grupy floty, służył na pancerniku Courbet na pokładzie którego brał udział podczas operacji Dynamo.
Po klęsce Francji porucznik Kieffer odpowiedział na apel generała de Gaulle'a z 18 czerwca 1940 i przedostał się do Wielkiej Brytanii. 1 lipca wstąpił do Marynarki Wojennej Wolnej Francji. Ze względu na płynną znajomość języka angielskiego został tłumaczem i szyfrantem. Będąc pod wrażeniem technik brytyjskich komandosów poprosił o zgodę utworzenia francuskich sił specjalnych. W maju 1941 admirał Émile Muselier wyraził zgodę na sformowanie jednostki specjalnej. Szkolenie francuskich komandosów miało miejsce w Achnacarry w Szkocji. 1 lipca 1942 Philippe Kieffer otrzymał awans na kapitana marynarki. 19 sierpnia 1942 1. Batalion Francuskich Komandosów uczestniczył w rajdzie na Dieppe.