W 1500 r. miasto zostało zniszczone przez Tatarów. W następstwie tych wydarzeń król Jan Olbracht w 1501 r. uwolnił Grabowiec od ceł i podatków na 6 lat. Przywilej ten potwierdził w 1511 r. Zygmunt I Stary, a tym samym przyznał kolejne ulgi w związku z najazdem Tatarów z 1506 r.
W 1509 roku miejscowość otrzymała przywilej niepłacenia kontrybucji wojennych, a w 1625 r. prawo odbywania targu w środę oraz nakaz organizacji cechów rzemieślniczych.
W 1394 r. Ziemowit IV przyczynił się do powstania w miejscowości parafii rzymskokatolickiej, która obejmowała 26 wsi.
W latach 1655–1662 odbudowano Zamek Grabowiecki pochodzący z XIII wieku, a zniszczony w 1500 r. Do odbudowy przyczynił się starosta Stanisław Sarbiewski. Pierwsze wzmianki o zamku pochodzą z 1617 r., a kolejne z 1624 r.