W lecie 1944 roku wraz z całą kompanią zdezerterował i w lipcu znalazł się w powiecie ostrołęckim. Wraz z grupą kolegów zlikwidował Ziedlera, oficera niemieckiego dowodzącego wspomnianym Legionem. W październiku tego roku dołączył do 5 pułku ułanów AK dowodzonego przez ppor. Kazimierza Stefanowicza „Asa” obozującego w okolicach miejscowości Wach. Józef Kozłowski, na czele swych kresowych podkomendnych uczestniczył w walkach z Niemcami podczas akcji „Burza” w rejonie miejscowości Jazgarka, Karaska i Charciabałda.
Po zdemobilizowaniu oddziału ukrywał się w miejscowości Wydmusy. Kontynuował działalność niepodległościową w ramach Obwodu AK-AKO Ostrołęka, uczestnicząc w wielu akcjach z zakresu samoobrony przed komunistycznym aparatem represji. Wstąpił do Zrzeszenia Wolność i Niezawisłość.
Jesienią 1945 roku przeszedł wraz z podkomendnymi do NZW. Pełnił funkcję szefa lokalnych struktur PAS: początkowo powiatu „Orawa” (ostrołęckiego), później całego „XVI” Okręgu NZW (Mazowsze). Dowodził wieloma akcjami przeciw siłom komunistycznym (m.in. udanym atakiem na Komendę Powiatową MO w Makowie Mazowieckim w lutym 1946 roku). Jego oddziały staczały potyczki z jednostkami ludowego Wojska Polskiego i NKWD, wykonywały wyroki na konfidentach UB.