Przez cały niemal XVII wiek dziedziczyli jego potomkowie, a później spokrewnieni z nimi Zasławscy.

thumb|left|Rycina obrazująca spotkanie armii Jerzego II Rakoczego oraz Karola X Gustawa pod Ćmielowem, które rozpoczęło trzecią fazę „Potopu” Kres świetności Ćmielowa położył potop szwedzki, w którego czasie miejscowy zamek był przez jakiś czas rezydencją księcia siedmiogrodzkiego. 12 kwietnia 1657 roku doszło pod Ćmielowem do spotkania armii Jerzego II Rakoczego oraz Karola X Gustawa. Połączone wojska rozpoczęły trzecią fazę potopuMariusz Markiewicz, Historia Polski 1492 – 1795, Kraków 2002, s. 535.. Żołnierze nie oszczędzili również miasta i warowni paląc je oraz mordując znajdujące się tam rodziny szlacheckie, które w Ćmielowie schroniły się szukając azylu. W latach 1657 i 1702 miasto zostało dotkliwie zniszczone przez Szwedów.

W 1661 roku król Jan Kazimierz odnowił dawne przywileje na 7 jarmarków w ciągu roku. W 1578 roku pracowało w Ćmielowie 77 rzemieślników, 4 gorzelników i jeden smolarz.

W 1663 roku Ćmielów liczył tylko 373 mieszkańców w 44 domach.