Od tego czasu pozostało tylko skrzydło zachodnie i południowe zamku, poddane gruntownej konserwacji w 1937 r. Znajdowały się tam cenne przykłady gotyckiej kamiennej plastyki architektonicznej. Podczas walk w kwietniu – maju 1945 r. zabudowania uległy zniszczeniu do fundamentów. Z zasypanych dwukondygnacyjnych piwnic skrzydła południowego po wojnie wydobyto szereg zabezpieczonych dokumentów, m.in. dzieła Krystiana Donelaitisa. Także tutaj bezskutecznie poszukiwano zaginionej Bursztynowej Komnaty (1989).
W 1906 r. w pobliżu zamku wybudowano nadmorskie sanatorium dziecięce.
Obecnie jest to teren osiedla Pawłowo (ros. Павлово), w granicach administracyjnych miasta Bałtyjsk.
Architektura Zamek składał się pierwotnie ze skrzydeł tworzących czworobok z wewnętrznym dziedzińcem i z wieżą w narożniku północno-wschodnim oraz z położonego na wschód przedzamcza. W skrzydle południowym na piętrze znajdował się refektarz i kaplica ze sklepieniem krzyżowym, tworzącym w przęśle wschodnim iluzję wielobocznego zamknięcia. Na piętrze skrzydła zachodniego znajdowały się trzy komnaty prokuratora.