Do całkowitej klęski przyczynił się potop szwedzki – olkuscy gwarkowie zostali zabrani przez Szwedów do wykonania podkopów pod klasztor na Jasnej Górze, gdzie wszyscy zginęli. W dodatku zaniedbane i zamulone sztolnie spowodowały zalanie kopalń. Przez miasto kilkakrotnie wówczas przetaczały się pożary, które zniszczyły większość zabudowań.
W wyniku III rozbioru Polski w 1795 roku Olkusz przeszedł pod panowanie austriackie, ale po pokoju w Schönbrunnie w 1809 roku miasto znalazło się w Księstwie Warszawskim, a od 1815 roku w Królestwie Polskim. Właśnie wówczas poczęto snuć plany odbudowy górnictwa w rejonie olkuskim. W 1814 roku otwarto pierwszą kopalnię rudy cynku. W pierwszej połowie XIX wieku miasto przeszło znaczną metamorfozę, choć można raczej powiedzieć „pierwszy etap” (kolejne pojawiały się w przyszłości) historyczno-strukturalnej defragmentacji – wyburzono stary ratusz, masywne mury miejskie, oraz jeden z najstarszych zabytków Olkusza – klasztor augustianów;