Wiadomo natomiast, że Drugeth w czasie urzędowania na zamku znacznie rozbudował warownię, wznosząc na wzgórzu kamienny zamek (castrum lapideum). Przez błędne odczytanie jego testamentu przypuszczano, że przekazał go po śmierci w 1342 r. swojemu bratu, Mikołajowi – wiadomo jednak, że został on przekazany królowi. Nie wiadomo natomiast, czy wraz z zamkiem królewszczyzną stały się wsie stanowiące dobra Berzeviczych. Według Trajdosa jest to mało prawdopodobne. Zapewne zostały w rękach potomków Jana i Rykolfa lub stały się własnością klasztorną – z warownią przekazano królowi prawdopodobnie jedynie Niedzicę jako zaplecze gospodarcze budowli, być może także Frydman.
W 1344 r. jako kasztelan zamków Pławiec i Dunajec był wzmiankowany Mikołaj Berzethe. W 1347 r. Ludwik Andegaweński zwrócił warownię Berzeviczym, których reprezentował skarbnik królewski Henryk, jeden z synów Jana, brata Kokosza. Po jego śmierci budowlę przejął jego syn Piotr, dworzanin króla Zygmunta Luksemburskiego. W drugiej połowie XIV w. na zamku górnym powstała pierwsza kaplica wraz z zakrystią, nieznanego wezwania. W 1412 r. natomiast wysłannicy polskiego króla pożyczyli cesarzowi Zygmuntowi Luksemburskiemu 37 tysięcy kop groszy praskich, w zamian za co Polska otrzymała 13 spiskich wsi.