Od maja 1747 roku Białą zarządzał Hieronim Florian Radziwiłł i w tym czasie podjęto prace projektowe mające uczynić z zamku siedzibę godną magnata o królewskich ambicjach, jednak do ich pełnej realizacji nie doszło. Jedyne prace jakich dokonano przeprowadzono w 1749 roku wg projektu saskiego architekta Johanna Heinricha Klemmahttps://pbc.biaman.pl/Content/31903/StPodl7.pdf.
Większej przebudowy dokonał dopiero w latach 1760–1762 kolejny właściciel – Michał Kazimierz Radziwiłł Rybeńko – poprzez podwyższenie loggii o jedną kondygnację oraz poprzez przekształcenie dachu na dwupołaciowy, spływający na boczne ściany budynku (wcześniej znajdowało się tam poddasze tak jak w zamku w Nieświeżu). W ten sposób na początku XVIII wieku zespół zamkowy w Białej uzyskał swój ostateczny architektoniczny wygląd. Proces zniszczenia zamku rozpoczął w 1764 roku najazd oddziałów starosty Jana Mikołaja Chodkiewicza.
W 1883 roku częściowo zrujnowany pałac został rozebrany. Zachowane fortyfikacje ziemne stanowią rzadki przykład umocnień „szkoły staroholenderskiej”.