W 1864 w miejscowości wzniesiono cerkiew unicką, która dziewięć lat później, wskutek likwidacji unickiej diecezji chełmskiej, przymusowo stała się świątynią prawosławną. W 1905, po wejściu w życie ukazu tolerancyjnego, większość grabowieckich parafian przeszła na katolicyzm obrządku łacińskiego. Ludność Grabowca w większości posługiwała się już wtedy językiem polskim. W 1915 ci prawosławni, którzy nie dokonali konwersji, udali się na bieżeństwo. Ich opuszczoną świątynię w 1919 nowe władze polskie zamknęły, a następnie przekazały szkole. Wcześniej budynek krótko pełnił funkcje katolickiego kościoła św. Kajetana.

Do upadku miejscowości przyczyniły się wojny XVII-wieczne oraz pożar w 1814 r.

13 stycznia 1870 r. pozbawiono Grabowiec praw miejskichPostanowienie z 19 (31) grudnia 1869, ogłoszone 1 (13 stycznia) 1870 (Dziennik Praw, rok 1869, tom 69, nr 239, str. 471).

Po odzyskaniu niepodległości pierwszą osobą, która sprawowała urząd wójta był Jan Ciszewski, a ostatnim (do wybuchu II wojny światowej) Jan Poterucha.