Po wojnie ukończył kurs kawaleryjski w Centrum Wyszkolenia Kawalerii w Grudziądzu. Po jego ukończeniu zrezygnował z kariery wojskowej i powrócił do pracy na roli. Zmobilizowany w sierpniu 1939 r. do oddziału artylerii, brał udział w wojnie obronnej, a po rozbiciu jego pułku dostał się do niewoli. II wojnę światową spędził w niemieckim obozie pracy, skąd udało mu się uciec ze współwięźniem. Po zakończeniu wojny osiedlił się w Przemysławiu pod Krzeszycami. Tam pochował swoich najbliższych. Do 1993 prowadził gospodarstwo rolne. Gdy stan jego zdrowia się pogorszył, przekazał ziemię Skarbowi Państwa i 9 grudnia 1994 zamieszkał w Domu Pomocy Społecznej w Tursku. W dniu swoich 110. urodzin został uhonorowany Krzyżem Oficerskim Orderu Odrodzenia PolskiMateusz Kudła, .
Decyzją ministra obrony narodowej Tomasza Siemoniaka z 15 lutego 2012 Józef Kowalski został awansowany do stopnia kapitana Wojska Polskiego.
16 sierpnia 2012, dzień po 92. rocznicy Bitwy Warszawskiej, nadano mu tytuł honorowego obywatela Wołomina.