Po pożarze w 1530 roku rozpoczęto przebudowę zamku. Trwała 7 lat, w jej trakcie kamienny dom przebudowano w stylu renesansu w dwupiętrową budowlę z dwuspadowym dachem i wieżą zegarową. Dobudowano także wschodnie skrzydło.
W latach 1573–1582 książę Jan Fryderyk dokonał generalnej przebudowy zamku. Zburzono kamienny dom i kościół św. Ottona. Pozostawiono gotyckie skrzydło południowe, podwyższono wschodnie i dobudowano do nich skrzydła północne i zachodnie, zamykając w ten sposób dziedziniec. Do zamku doprowadzono także wodociąg. Na początku XVII wieku za panowania Filipa II i Franciszka za skrzydłem zachodnim dobudowano dwupiętrowe piąte skrzydło – muzealne (pierwszy w regionie obiekt zbudowany z przeznaczeniem na muzeum), tworząc w ten sposób drugi, mały dziedziniec.
Po wymarciu dynastii Gryfitów, od 1637 roku zamek był siedzibą namiestnika szwedzkiego, a od roku 1720 – garnizonu pruskiego. W 1752 roku Fryderyk II Wielki założył w skrzydle muzealnym mennicę.
Podczas panowania pruskiego zamek wielokrotnie przebudowywano, dostosowując do mieszczącego się tam garnizonu. Usunięto wiele ozdób.