Złoty wiek Kazimierza skończył się w lutym 1656 r. wraz ze spaleniem miasta i zamku przez wojska króla szwedzkiego Karola Gustawa. Powtarzające się przemarsze wojsk i późniejsza zaraza przyczyniły się do upadku miasta. W 1677 r. Jan III Sobieski wydał dekret pozwalający osiedlać się kupcom ormiańskim, greckim i żydowskim. Ożywienie gospodarcze nie trwało jednak długo. Kolejne wojny polsko-szwedzkie ponownie spustoszyły miasto. Spadło także zapotrzebowanie w Europie na polskie zboże. Kupcy próbowali rozwijać handel drewnem i przemysł szkutniczy. Jednak nie były to zyski podobne do tych osiąganych na handlu zbożem. Późniejsze rozbiory odcięły Kazimierz od rynków zbytu.
18 marca 1831 roku rozegrała się bitwa pod Kazimierzem Dolnym – jedna z bitew powstania listopadowego.
W 1869 roku Kazimierz Dolny utracił prawa miejskie, w końcu XIX w. stał się miejscowością wypoczynkową. W okolicznych wąwozach zaczęły powstawać wille i pensjonaty dla letników, przede wszystkim z Lublina i Warszawy. Od końca XIX w. miejscowość stała się też popularnym celem wycieczek. W 1904 r. Aleksander Janowski, pionier polskiego krajoznawstwa w zaborze rosyjskim, umieścił ją na trasie jednej z „X ciekawszych wycieczek po kraju”, pisząc w skrócie, co należy tam zwiedzić.