W 1942 rozpoczął posługę jako zaprzysiężony kapelan Obwodu AK Przeworsk w stopniu kapitana. Udzielał kwater noclegowych i pomieszczeń dla często odbywających się narad. Wraz z kapelanem Okręgu ks. płk. Józefem Stefańskim urządzali nabożeństwa o charakterze patriotycznym. Ojciec Rufin udzielał również ślubów konspiracyjnych. Na przełomie 1942 i 1943 zorganizował kurs dla kapelanów wojskowych, prowadzony przez zawodowego księdza kapelana z Rzeszowa. Przechowywał pieniądze i dokumenty. W kwietniu 1943 po znalezieniu w Przeworsku zastrzelonego żołnierza niemieckiego duchowny został aresztowany wraz z przedstawicielami przeworskiej inteligencji - po dwóch tygodniach opuścił jednak więzienie.

Od 1943 uczestniczył w strukturach Oddziału Informacyjno-Wywiadowczego AK. W grudniu 1943 o. Rufin został kapelanem projektowanego szpitala Obwodu. Brał również udział w tajnym nauczaniu. Uratował żydowską rodzinę, przekazując im fałszywe dokumenty. W maju 1944 przewoził pieniądze ze zrzutu lotniczego w okolicach Łańcuta na stację kolejową w Przeworsku;