thumb|left|200px|Grób Jakubowiczów na przykościelnym cmentarzu Po śmierci Jakubowiczów (Józef Paschalis – 5 kwietnia 1845, Ludwika – 14 stycznia 1862), do przejęcia przez Kazimierza Szetkiewicza 14 maja 1880Kazimierz Szetkiewicz najprawdopodobniej był pierwowzorem Zagłoby z Trylogii Henryka Sienkiewicza majątek miał po kolei sześciu właścicieli. Do córki Szetkiewicza, Maryni, przyjeżdżał do Lipkowa Henryk Sienkiewicz – najpierw jako konkurent, później, po ślubie z Marią Szetkiewiczówną, jako jej mąż. Na prośbę żony pisarz umieścił w Lipkowie scenę pojedynku Bohuna z Wołodyjowskim w powieści Ogniem i mieczemMaria Szetkiewicz zmarła na gruźlicę w trakcie pisania "Ogniem i mieczem".. W 1883 Szetkiewicz sprzedał majątek, który do 1937 wielokrotnie zmieniał właścicieli. Jako ostatni, przed wojną majątek objęli państwo SuwaldowieBolesław Suwald popełnił samobójstwo w 1922, a jego grób znajduje się przy kościele.

W związku z częstymi zmianami właścicieli kościół pozbawiony wsparcia finansowego podupadł. Już w 1830 parafia św. Rocha w Lipkowie została zlikwidowana i kościół stał pusty aż do 1950. W 1921 rozebrana została karczma, uwieczniona w powieści przez Sienkiewicza.