Podczas III powstania śląskiego uformował baon w Katowickim Pułku Powstańczym im. Józefa Piłsudskiego, którym w randze majora dowodził w walkach na terenie powiatu katowickiego. Wsławił się następnie w walkach pod Kędzierzynem, szczególnie zdobyciem 10 maja 1921 r. Kłodnicy. Aktywność bojową księdza krytykował komisarz apostolski na Górnym Śląsk prałat Jean-Baptiste Ogno-Serra. Wydział Duszpasterski Polskiego Komisariatu Plebiscytowego także nie patrzył przychylnym okiem na aktywny udział Woźniaka w walce zbrojnej. Równocześnie znalazł się on na niemieckiej „czarnej liście” 29 księży podburzających parafian przeciwko duchowieństwu proniemieckiemu. Za „niezwykłą brawurę i dodawanie ducha innym" powstańcom podczas II i III powstania, 27 czerwca 1922 odznaczono go orderem wojskowym „Virtuti Militari” V klasy.
Po zakończeniu walk pod Kędzierzynem reprezentował dowództwo powstańcze w kontaktach z Komisją Międzysojuszniczą. Po przyłączeniu części Górnego Śląska do Polski był wikariuszem w parafii św. Jerzego w Rydułtowach, a później nauczycielem języków w Gimnazjum Komunalnym w Roździeniu, gdzie działał również w Polskim Towarzystwie Gimnastycznym „Sokół”.