później zamek przeszedł w ręce magnackiego rodu Turzonów. Miasto podupadło w wiekach XVI, XVII i XVIII – w okresie wojen domowych o tron węgierski, wojen z Turkami i powstań antyhabsburskich. Do wojen dołączyły epidemia pod koniec XVI w. oraz katastrofalne pożary w latach 1601 i w 1708. W XVIII w. miasto odrodziło się jako ośrodek rzemiosła.
W XIX w. Zwoleń był jednym z ośrodków słowackiego odrodzenia narodowego. Podczas powstania węgierskiego w latach 1847–1848 miejskim posłem na węgierski sejm był słowacki działacz narodowy Ľudovít Štúr. W 1872 r. linia kolejowa połączyła miasto z Budapesztem. Wkrótce potem powstały pierwsze zakłady przemysłowe (walcownia) i instytucje finansowe (m.in. Słowacki Bank Ludowy w 1902 r.). W 1910 r. miasto liczyło 8,8 tys. mieszkańców, z czego 5,0 tys. Węgrów, 3,6 tys. Słowaków i 0,2 tys. Niemców. W czerwcu 1919, w toku walk między nowo powstałą Czechosłowacją a Węgierską Republiką Rad, Zwoleń został zajęty przez Węgierską Armię Czerwoną, którą po sześciu dniach wyparły wojska czechosłowackie. Pod koniec II wojny światowej Zwoleń był jednym z głównych ośrodków słowackiego powstania narodowego. Po wojnie nastąpiła rozbudowa miejskiej infrastruktury i intensywna industrializacja. Zbudowano m.in.