We Francji zastał go wybuch I wojny światowej. Walczył jako ochotnik w szeregach sformowanego we Francji oddziału polskiego (tzw. Legionu Bayońskiego) i był w 1915 ranny; po dłuższym pobycie w lazarecie do służby wojskowej już nie wrócił. W 1919 na krótko osiadł w rodzinnym Płocku, by niebawem przenieść się do Inowrocławia i tam otworzyć restaurację. W 1929 przeniósł się do Torunia, gdzie nadal był restauratorem – prowadził lokal „Eldorado” przy Szosie Chełmińskiej. Uczynił z restauracji punkt kontaktowy komunistów i związkowców lewicowych, w którym spotykali się czołowi toruńscy działacze Komunistycznej Partii Polski; bywał w „Eldorado” m.in. Józef Głazowski, sekretarz komitetu miejskiego Komunistycznej Partii Polski. W 1932, po decyzji władz miejskich o odebraniu koncesji na prowadzenie lokalu restauracyjnego, Żółtowski zajął się handlem.