mały|left|Zamek joannitów w Skarszewach, w znacznej części rozebrany i przebudowany pod koniec XVIII w. na Królewsko-Pruski Magazyn Solny thumb|left|Mury miejskie, XIV/XV w. Ówczesne Skarszewy były otoczone murem z bramami, zaś w ich północno-zachodniej części znajdował się zespół zamkowy, składający się z zabudowań gospodarczych oraz piętrowego, wzmocnionego dwiema wieżami zamku w stylu gotyckim, stojących na cyplu stromego wzgórza schodzącego do Wietcisy. Od strony miasta wjazdu strzegła gotycka brama i sucha fosa. Kompleks zamykał kamienno-ceglany mur obronny. Takie położenie powodowało, że w przypadku obsadzenia zamku dużą załogą był on trudny do zdobycia. Poniżej zamkowego wzgórza, na wyspie, znajdowało się podzamcze z młynem, browarem, karczmą, foluszem i kuźnią. W rejonie Bramy Chojnickiej znajdował się drugi kościół, pw. św. Jerzego wraz ze szpitalem i cmentarzem, już w 1686 wzmiankowany jako leżący w gruzach.