W 1728 roku ukończono budowę murowanej kaplicy Matki Bożej Bolesnej przy wschodniej ścianie prezbiterium. W latach 1926-1927 kaplicę nakryto ośmiopołaciową kopułą z latarnią, w 1935 przywrócony został stan pierwotny - wspólny dach nad nawą i kaplicą. W 1901 roku przebudowano dzwonnicę. Nowa wieża została częściowo wbudowana w nawę. Zmieniono również barokowy hełm wieńczący wieżę na neogotycki wysoki dach. Obecne zwieńczenie wieży pochodzi z 1935 roku.
Kościół św. Jana Chrzciciela w Orawce jest uważany za najstarszy drewniany kościół . Wpisany został do rejestru zabytków decyzją z dnia 22 stycznia 1970 roku pod numerem 167. W roku 2003 uznany został za pomnik historii.
Architektura Kościół jest orientowany, wybudowany z drewna na kamiennej podmurówce. Postawiony w konstrukcji zrębowej, wieża w konstrukcji słupowej. Ściany kościoła i wieży są pokryte gontem. Kościół jest jednonawowy z wydłużonym, węższym od nawy prezbiterium, zamkniętym wielobocznie. Do prezbiterium od północy przylega zakrystia, a od wschodu murowana kaplica Matki Bożej Bolesnej. Po południowej stronie nawy mieści się drewniana kruchta. Od zachodu do nawy przylega wieża o pochyłych ścianach, zwieńczona izbicą i ostrosłupowym hełmem z czterema narożnymi wieżyczkami. Dach dwuspadowy, wspólny dla nawy, prezbiterium i murowanej kaplicy, pokryty gontem.