Ulma pomógł także żydowskiej rodzinie Tencerów (Trinczerów) wybudować ziemiankę w pobliskim jarze. W kryjówce tej znalazła schronienie Rywka Tencer (Trinczer) oraz jej dwie córki i wnuczka. Ulma zaopatrywał także uciekinierki w żywność. Leśna kryjówka została jednak odkryta w czasie obławy 13 grudnia 1942 roku, a wszystkie cztery Żydówki zostały następnego dnia zamordowane przez niemieckich żandarmów.
Dwie żydowskie rodziny ukrywały się w gospodarstwie Ulmów do wiosny 1944 roku. Nie podejmowano przy tym szczególnych środków ostrożności. Żydzi mieszkali na poddaszu domu i czasem pomagali gospodarzom w codziennych pracach, m.in. przy garbowaniu skór. Do kryjówki na strychu udawali się nocą lub w chwilach zagrożenia. W ukrywaniu Żydów wspierał Ulmów najbliższy przyjaciel Józefa, Antoni Szpytma.