Od października 1939 zaczął organizować siatkę konspiracyjną w rodzinnych Bratkowicach, z którą od maja 1940 przeszedł pod komendę Związku Walki Zbrojnej. Był pierwszym dowódcą Placówki ZWZ Bratkowice-Głogów. W maju 1943 Józef Rzepka został pierwszym adiutantem Inspektoratu Rejonowego Armii Krajowej Rzeszów.
Rzeszowski obwód AK na czas akcji „Burza” (przełom lipca i sierpnia 1944) został zorganizowany w cztery zgrupowania. Jedno z nich – Zgrupowanie III „Zachód”, którego dowódcą był por. Józef Rzepka, noszący wówczas pseudonim „Znicz” – działało w trójkącie Świlcza – Głogów – Bratkowice. Oddział ten operował w dwóch grupach: Grupa „Rekina” – dowodzona przez samego Rzepkę i Grupa „Uklei” – pod dowództwem ppor. Tadeusza Lisa. Grupa „Rekina” realizowała zadania taktyczne, działając na osi drogi Rzeszów – Sędziszów, natomiast Grupa „Uklei” kontrolowała trasę Rzeszów – Głogów. Akcję rozpoczęto 26 lipca wzmożonymi patrolami i likwidacją małych grup nieprzyjaciela dla zdobycia broni i amunicji. Następnego dnia grupa Józefa Rzepki zaatakowała w rejonie Bratkowic 300-osobowy oddział Niemców i grupę taborów. Ponadto w rejonie Rudnej Wielkiej – Świlczy uszkodzono tory kolejowe na długości 100 metrów. Ruch pociągów został przerwany na kilkanaście godzin.