Dynastia Welfów Fryderyk August wszedł w posiadanie pałacu poprzez małżeństwo z Fryderyką Zofią Charlottą Augustą, córką Karola Krystiana ostatniego księcia oleśnickiego z linii Wirtembergów. W latach 1792–1802 pałac został rozbudowany o cztery boczne skrzydła i dwie wieże z kopułami, stajnię, wozownię, kawiarnię, teatr i pawilon dla gości. Ogrody zaprojektował Christian Weiss (urodzony w Szczodrem nadworny ogrodnik Izabeli Czartoryskiej, projektant ogrodów w Wilanowie i Mokotowie pod Warszawą). Kolejnym właścicielem pałacu został książę oleśnicki Wilhelm. W 1829 gościł w nim car Rosji Mikołaj I wraz z żoną Fryderyką Hohenzollern. W latach 1851–1867 nadworny architekt Carl Wolf przebudował pałac w stylu gotyku angielskiego na wzór pałacu Windsor w Anglii. W 60 salach udostępnionych do zwiedzania znajdowało się 5000 grafik i obrazów. W pałacu funkcjonował teatr, w którym grali aktorzy z Wrocławia oraz zawodowy balet sprowadzony z Brunszwiku.