W drugiej połowie XIII wieku wzgórze zamkowe zaczęto otaczać kamiennym murem. Syn Mieszka, Kazimierz I, oraz wnuk Przemysław I Noszak, kontynuowali prace budując gotycką rezydencję. Z inicjatywy Przemka I Noszaka rozpoczęto budowę wieży głównej, tzw. Wieży Piastowskiej o początkowej wysokości ok. 12 m. Oprócz tego zbudowano dwie lub trzy cylindryczne wieże na linii murów obwodowych. Wjazd na teren zamku znajdował się w budynku bramnym w północno-wschodnim narożu zamku. Brama wjazdowa była broniona cylindryczną wieżą bramną o średnicy ok. 10 m i grubości murów ok. 3,4 m. Była ona usytuowana w linii murów obwodowych, w pobliżu drogi prowadzącej do zamku. Zapewne główne budynki mieszkalne wzniesiono w bezpośrednim sąsiedztwie Wieży Piastowskiej od strony zachodniej. Od miasta zamek byt oddzielony fosą. W XV w. zamek został ponownie rozbudowany i połączony z murami obronnymi miasta. Wieża Piastowska zamku została nadbudowana do ośmiu kondygnacji (ok. 24 m) i zwieńczona ozdobnymi murowanymi z cegły machikułami wspartymi na kamiennych kroksztynach z narożnymi czterema wieżyczkami. Na zamku górnym w XV wieku powstała nowa zabudowa wokół dziedzińca.