Do 2006 miejsce to upamiętniał głaz, znajdujący się w zagajniku nad potokiem Struga, przy mostku łączącym Lipków z Koczargami Starymi.
W czasie II wojny światowej okoliczna ludność walczyła m.in. w partyzantce, a po wojnie, w wyniku reformy rolnej, na miejscu majątku powstał PGR. W 1948 pracownicy PGR przypadkiem zaprószyli ogień i zabytkowy dwór spłonął. W latach 1950–1952, staraniem księdza kanonika Stefana Kowalczyka, dziekana warszawskiego i proboszcza parafii NMP na Nowym Mieście w Warszawie, odbudowano kościół, a w dworze umiejscowiono plebanię. Proboszczem został ksiądz Wacław Kurowski (zmarły 28 lipca 1992), który m.in. założył we dworze prywatne muzeum historii Lipkowa i jego związków z Sienkiewiczem. Obecnie muzeum już nie istnieje. Kolejni proboszczowie próbowali rewaloryzować kościół i jego otoczenie. Ze względu na zły stan kościół został zamkniętyPusty kościół stał przez prawie 100 lat bez dachu i pomimo remontu w latach 1950-1952 stan jego ścian i fundamentów jest krytyczny., a w wybudowanej obok tymczasowej kaplicy od wiosny 2008 odprawiane są nabożeństwa.