W 1536 i miasto było niszczone przez pożary. Jego odbudowę ułatwiły zwolnienia z podatków dotyczące zarówno miasta, jak i jego mieszkańców, a także zapomogi przekazywane przez lenników królewskich (m.in. księcia pruskiego Albrechta). W kościół św. Mikołaja stał się prepozyturą, a później (w 1544) kolegiatą.
W latach 1553–1569 wójtem Wolborza był wybitny polski pisarz polityczny okresu renesansu i sekretarz króla Zygmunta I Starego (w latach 1547–1553) – Andrzej Frycz Modrzewski.
Po II rozbiorze Wolbórz znalazł się w granicach Królestwa Pruskiego, w którym pozostawał aż do 1807, kiedy to znalazł się w Księstwie Warszawskim. Gdy kongres wiedeński w 1815 zdecydował o powstaniu Królestwa Kongresowego, Wolbórz znalazł się w jego granicach.
W zaborczy rząd carski, żeby ukarać wolborzan za ich patriotyzm, odebrał świątyni św. Mikołaja tytuł kolegiaty, który odzyskała dopiero w 2008 r.Abp 022-776/08 Dekret w sprawie przywrócenia kościołowi św. Mikołaja w Wolborzu tytułu kolegiaty, Łódź 6 lipca 2008 r.
Mieszkańcy Wolborza brali czynny udział w powstaniu styczniowym, za co karą była utrata praw miejskich. Miasto objął ukaz carski z 30 maja 1870 zmniejszający liczbę miast w guberniach Kraju Priwiślańskiego.