Od 1907 roku sprawował urząd superintendenta generalnego Kościoła Ewangelicko-Reformowanego Synodu Wileńskiego. W 1919 roku został superintendentem Jednoty wileńskiej, przyczynił się do powrotu do przedrozbiorowego ustroju kościoła reformowanego, sprzeciwiając się połączeniu Jednoty wileńskiej z Kościołem Ewangelicko-Reformowanym w Warszawie.
W dwudziestoleciu międzywojennym był obiektem krytyki prasy oraz warszawskiego środowiska kalwinów ze względu na praktyki rozwodowe Jednoty wileńskiej.
Udzielał się społecznie na terenie Wileńszczyzny: od 1906 roku był członkiem Towarzystwa Przyjaciół Nauk w Wilnie, działał również w Polskiej Macierzy Szkolnej.
Od 1920 roku należał do zarządu Towarzystwa Miłośników Historii Reformacji im. Jana Łaskiego, sprawował funkcję redaktora naczelnego dwumiesięcznika "Szlakiem Reformacji", od 1898 roku publikował też w „Zwiastunie Ewangelickim”. Aktywność ks. Jastrzębskiego zaznaczała się pielęgnowaniem pamięci o zasługach polskich protestantów oraz dziedzictwa czasów przedrozbiorowychGrzegorz Michalak, „Szlakiem Reformacji” - czasopismo Wileńskiego Kościoła Ewangelicko-Reformowanego (Jednoty Wileńskiej). „Gdański Rocznik Ewangelicki” 2021, vol. XV. ISSN: 1898-1127, s. 148-171.Grzegorz Michalak, „Trudno wyplenić to, co zasiewała ręka polska w ciągu kilku stuleci”.