Od 1772 r. miejscowość znajdowała się przejściowo w zaborze austriackim (starostą pozostał Ludwik Wilga, który pełnił urząd dożywotnio, do 1796 r., był on ostatnią osoba na tym stanowisku). W 1809 r. Grabowiec wszedł w skład Księstwa Warszawskiego. 26 marca 1794 roku wybrano Jędrzeja Dudę i Józefa Nowickiego na burmistrzów Grabowca, następnie wybrano Jakuba Wysockiego i Józefa Nowickiego na stanowisko burmistrzów Grabowca, byli oni ostatnimi obieralnymi burmistrzami, ponieważ później był już tylko jeden burmistrz, którego mianowały władze centralne. 15 marca 1811 r. zgodnie z dekretem, który wydał król saski w Dreźnie, burmistrzem został Jan Podhajewski.
Od 1815 r. w miasto leżało na terenie zaboru rosyjskiego (Królestwo Kongresowe). 19 grudnia 1869 r. Grabowiec (ros. Грабовец) utracił prawa miejskie wskutek carskich represji po powstaniu styczniowym.