Wojna trzydziestoletnia była katastrofą zarówno dla miasta, jak i zamku. W 1643 roku Kromieryż został zdobyty i zniszczony przez wojska szwedzkie generała Lennarta Torstenssona. Po zniszczeniach wojny trzydziestoletniej zamek został odbudowany w stylu późnobarokowym w 1686 roku za czasów arcybiskupa Karola II Liechtenstein-Kastelkorn, według projektu wiedeńskich architektów Filiberto Lucchese i Giovanniego Pietro Tencalla. Z tego okresu pochodzi także układ parku zamkowego i ogrodu kwiatowego. W 1752 roku w mieście wybuchł pożar, który zniszczył kilkadziesiąt domów oraz poważnie uszkodził drugie piętro i wnętrza zamku. Po pożarze Franz Hiernle stworzył rzeźby i sztukaterie dla Sali Lennej i biblioteki w latach 1752–1760 oraz empirowy wystrój Wielkiej Sali około 1770 r. Renowacja budynku trwała dwadzieścia lat i została ukończona za biskupa Hamiltona.
Podczas Wiosny Ludów, po zdobyciu Wiednia przez wojska cesarskie, w latach 1848–1849 pałac Arcybiskupi stał się miejscem posiedzeń Zgromadzenia Ustawodawczego Narodów Austriackich (Sejmu Rakuskiego).