Z miastem 20 lat swojego życia związał również pisarz i publicysta polityczny epoki renesansu Andrzej Frycz Modrzewski, główny reprezentant postępowej myśli społeczno-politycznej polskiego Odrodzenia, autor traktu O naprawie Rzeczypospolitej. thumb|left|Dawna synagoga w Brzezinach Od XVII wieku rozpoczął się okres upadku gospodarczego i kulturalnego miasta, na co złożyły się kolejne wojny ze Szwecją, które zubożyły i wyludniły miasto, a później także okres panowania saskiego – mimo napływu kolejnych osadników, w tym Żydów (pierwsza wiadomość z 1736 r.) oraz kolonistów niemieckich (od 1752 r.).
Zabory Polski i odzyskanie niepodległości Po rozbiorach Polski miejscowość leżała w powiecie brzezińskim, guberni piotrkowskiej w zaborze rosyjskim, stając się w tym czasie podupadającym miasteczkiem.