Jego potomek Christian Sebastian von Lest przeprowadził na początku XVII w. modernizację pałacu, dzięki czemu zyskał on renesansowy wystrój. Około 1627 roku majątek przeszedł w ręce rodziny von Promnitz, w latach 16541655 majątkiem władał Irlandczyk hr. von Gall. Dziedzicem został jego kuzyn hr. Walter von Gall. W latach 1700–1795 Skałę dzierżyli hrabiowie von Reder (Röder). W roku 1795 majątek nabył hr. Friedrich von Pückler, który przegrał wszystko w karty i tym samym Skała znalazła się w rękach Piotra Birona, księcia kurlandzkiego i żagańskiego, który odkupił całe dobra za 319 tys. talarów, w tym 4 tys. tzw. porękawicznego. Książę krótko cieszył się nabytkiem, gdyż zmarł 3 stycznia 1800 r. i na mocy testamentu majątek przeszedł w ręce jego 18-letniej córki Pauliny, która 26 kwietnia 1800 r. wyszła za mąż za księcia Fryderyka Hohenzollern-Hechingen. W czasie wojen napoleońskich w pałacu w Skale kwaterowali marszałek francuski Macdonald i marszałek pruski Blücher. W 1845 r. Skałę odziedziczył syn Pauliny i Fryderyka - książę Konstantyn Hohenzollern-Hechingen. Po śmierci Konstantyna, w roku 1869 majątek przeszedł na linię Hohenzollern-Sigmaringen. Wtedy też zaczął się powolny upadek rezydencji. W latach 1905–1927 Skała należała do Wilhelma von Hohenzollern.