Podczas odbudowy uzupełniono zabudowę od strony zachodniej oraz wystawiono schody zewnętrzne na naroże dziedzińca.
W 1663 roku w Kazimierzu Dolnym wybuchł pożar pochłaniający większość miasta, w tym i zamek dolny.
Na początku XVIII wieku za panowania Augusta II Mocnego powstają plany odbudowy zamku w stylu pałacowym, jednak zostają one pokrzyżowane przez wojnę domową ze Stanisławem Leszczyńskim. W wyniku tego zamek popada w ruinę i do końca wieku zostaje całkowicie opuszczony. W 1806 władze austriackie ze względów bezpieczeństwa wysadziły grożącą zawaleniem się część murów wraz z attyką.
18 marca 1831, w czasie bitwy pod Kazimierzem Dolnym powstania listopadowego, zamku bronił Batalion Celnych Strzelców Sandomierskich pod dowództwem Stanisława Krzesimowskiego. Za udział w powstaniu Adama Czartoryskiego, zamek należący wtedy do rodziny Czartoryskich, został skonfiskowany i przeszedł na własność skarbu Królestwa Polskiego.
W latach 1958–1960 na terenie ruin przeprowadzono badania archeologiczne.