W XVII w. Olsztyn zaczął pustoszeć, a przyczyniły się do tego przemarsze wojsk, epidemie oraz susze. W 1655 Olsztyn został zniszczony przez Szwedów, przy czym zamek był częściową ruiną jeszcze przed tą wojną. 1 września 1719 r. pożar całkiem strawił wszystkie zabudowania miasta. W 1. połowie XVIII wieku wytyczono olsztyński Rynek, jednak miasto rozwijało się powoli, m.in. w 1791 r. stało w nim 77 domów. Od 1795 miasto przejściowo znajdowało się w zaborze pruskim w prowincji Nowy Śląsk, od 1807 roku – w Księstwie Warszawskim, a ostatecznie od 1815 – w Królestwie Polskim pod zaborem rosyjskim. Ze względu na niewielkie rozmiary miejscowość utraciła status miasta decyzją administracji rosyjskiej w 1870.
W 2019 w jaskini znajdującej się tuż przy słynnym zamku dokonano niezwykłego odkrycia. Znaleziono narzędzia pochodzące sprzed 40 tys. lat wykonane przez neandertalczyków.
W marcu 2020 radni gminy Olsztyn przyjęli uchwałę w sprawie wszczęcia procedury przywrócenia praw miejskich, a w lutym następnego roku w konsultacjach społecznych większość mieszkańców opowiedziała się za przekształceniem w miasto, w związku z czym Rada Ministrów wydała rozporządzenie w sprawie nadania Olsztynowi z dniem 1 stycznia 2022 statusu miasta.