Ona też najwięcej kłopotu nastręczała gospodarzom, bowiem nie omijały jej burze i pożary. Stąd zawaliła się częściowo po pożarze w 1510 roku. Wspomina o niej dokument z 1588 roku. Zmiany i przebudowy zamku doprowadziły do zatarcia układu wcześniejszego, o którym niewiele wiadomo, bowiem pozostałości jego wtopiły się całkowicie w korpusy narastających nowych założeń tak, że historycy sztuki z trudnością trafiają dziś na dawniejsze ślady architektoniczne. Przebudową, a przede wszystkim odnowieniem i uświetnieniem swej rezydencji, zajął się w latach 1546–1547 książę Fryderyk III. Tenże nie chciał, a może nie potrafił, dostrzec wspaniałych walorów architektonicznych gotyckiej budowli, stąd ta przebudowa ostatecznie utrwaliła renesansową bryłę o trzech członach, ustanowionych wzajemnie do siebie w kształcie półksiężyca. Poważny pożar miał miejsce w 1661Waldemar Bena opis do mapy "Bory Dolnośląskie, Przemkowski Park Krajobrazowy" Wydawnictwo Turystyczne Plan, Jelenia Góra 2004 . Do naszych czasów dochowały się jedynie człony – środkowy i północno-zachodni. Brakuje więc skrzydła południowo-wschodniego, rozebranego w 1768 roku po pożarze miasta w 1762 roku.