W drugiej połowie XVI stulecia miasto spotkała klęska pożaru. Powolna odbudowa, a nawet wyjednany u króla przywilej jarmarków nie wpłynął na znaczny rozwój miasta. W 1790 Żychlin liczył 350 mieszkańców i 68 domów.
W XIX wieku liczba ludności miasta znacznie wzrosła, przy czym, tak jak w pobliskim Kutnie, większość mieszkańców stanowili Żydzi. W 1870 na mocy ukazu carskiego Żychlin stracił prawa miejskie. Powodem odebrania praw miejskich był udział mieszczan w powstaniu styczniowym, kiedy to przez kilka, a może nawet kilkanaście dni miasto było wolne od zaborcy.
Pod koniec XIX wieku miasto liczyło ponad 4500 mieszkańców.
Na początku XX wieku miejscowość zamieszkiwała niewielka społeczność mariawicka, przynależąca do parafii Przenajświętszego Sakramentu w Łowiczu, filii w Skrzeszewach. Swój cmentarz wyznaniowy posiadali w Zdunach. W miasteczku znajdowała się kaplica obsługiwana przez kapłana Marię Tytusa Siedleckiego, późniejszego biskupa Kościoła Katolickiego Mariawitów.
W 1924 Żychlin odzyskał prawa miejskie.