W 1550 roku Stara Kamienica stała się własnością Kaspara von Schaffgotsch. Za jego panowania w drugiej połowie XVI wieku doszło do przebudowy zamku, wskutek czego zyskał on styl renesansowy. Wskazuje na to inskrypcja z datą „1562” znajdująca się nad wejściem do zamku. 20 sierpnia 1616 roku doszło do pożaru zamku, w którym spłonął on doszczętnie, zachowały się jedynie stodoły i stajnie. Johann Ulrich Schaffgotsch szybko przystąpił do jego odbudowy, którą ukończono około 1630 roku. W 1640 roku zamek zajęły wojska szwedzkie gen. Torstena Stålhandskego, dokonując w nim licznych zniszczeń, a potem odbiły go wojska niemieckie.
W 1757 roku doszło do pożaru Starej Kamienicy, w której zniszczeniu uległ także zamek. Nie został on odbudowany i popadł w ruinę. Zamek sukcesywnie rozbierano jako źródło taniego materiału budowlanego, a wieża do końca XIX wieku była wykorzystywana na potrzeby składowania płodów rolnych.
Po zakończeniu II wojny światowej ruiny zamku weszły w zarząd Rolniczej Spółdzielni Produkcyjnej. W 2010 roku Fundacja Zamek Chudów rozpoczęła prace porządkowe przy zamku, a w 2015 roku częściową rekonstrukcję polegającą na odbudowę mostu, wieży i adaptacji piwnic.