Po śmierci Jerzego Wiśniowieckiego zamek wraz z miastem przeszedł w posiadanie jego bratanka księcia Jeremiego Wiśniowieckiego, jednego z najbogatszych ludzi na Podolu. Książę Jeremi i jego żona Gryzelda Zamoyska przebudowali zamek w jeden z najlepszych w prowincji. W XIX wieku zamek został pozbawiony funkcji obronnych. Resztki budynków spłonęły w 1848 roku. Pod koniec XIX wieku pozostałości murów jeszcze wznosiły się kilka metrów nad ziemią. Ruiny zamku były systematycznie niszczone w czasach sowieckich. Tak więc ostatecznie w miejscu zamku powstało boisko do piłki nożnej. Według Słownika geograficznego Królestwa Polskiego i innych krajów słowiańskich: w ruinach niegdyś obronnego zamku mieszkała żona księcia Karola St. Radziwiłła Panie Kochanku, ordynata na Nieświeżu, Ołtyce i wojewody wileńskiego; księstwo Radziwiłłowie nie żyli ze sobą, księżna mieszkała w Białym Kamieniu i tu umarła; do niedawna żyli tu ludzie, którzy ją pamiętali kościół pw. Wniebowzięcia NMP, rzymskokatolicki, barokowy z 1737 r. cerkiew greckokatolicka pw. Św.