Radziwiłła Panie Kochanku, ordynata na Nieświeżu, Ołtyce i wojewody wileńskiego; księstwo Radziwiłłowie nie żyli ze sobą, księżna mieszkała w Białym Kamieniu i tu umarła; do niedawna żyli tu ludzie, którzy ją pamiętali. Po śmierci Teresy zamek zaczął chylić się ku upadkowi. W 1814 roku zamek nadal miał mury, dwie bramy i wieże. Jednak dachy się zawaliły, okna i drzwi zniknęły, a podłogi uległy zniszczeniu.
W XIX w. warownia została pozbawiona funkcji obronnych. Resztki budynków spłonęły w 1848 r. Popadający w ruinę zamek częściowo rozebrano. Z uzyskanego materiału zbudowano dwór i budynki gospodarcze. Pozostaje tylko ośmioboczna baszta, brama wjazdowa, fragmenty murów obronnych. Pod koniec XIX w. pozostałości murów jeszcze wznosiły się kilka metrów nad ziemią. Ruiny były systematycznie niszczone w czasach sowieckich. Ostatecznie w miejscu zamku powstało boisko do piłki nożnej.
Architektura Warownia w kształcie kwadratu była długa na 58 m i szeroka na 54 m. W rogach znajdowały się cztery ośmioboczne wieże - baszty. Zamek posiadał dwie bramy, wjazdową od strony południowej, z których jedna miała portal i dwie kolumny korynckie. Nad bramą znajdował się napis: j. ; j. pol.