Następca Siemowita III, Siemowit IV nadał miastu w 1382 roku prawa miejskie na prawie chełmińskim. Życie miasta skoncentrowało się wokół rynku w nowej osadzie. Po wybudowaniu w pobliżu rynku kościoła św. Marcina i przeniesienia tam siedziby parafii gostynińskiej, gród nad jeziorem Czarnym tracił na znaczeniu. Siemowit IV rozbudował zamek gostyniński i uczynił z niego swoją ulubiona rezydencję. Na przełomie XIV i XV wieku budowlę rozebrano i przystąpiono do rozbudowy zamku. Dziedziniec otoczono murem obwodowym oskarpowanym w narożnikach, który tworzył czworobok o wymiarach 37 × 38 metrów. W narożniku północno-wschodnim wzniesiono kwadratową murowana wieżę o boku 7 metrów. Pozostała zabudowa dziedzińca była zbudowana z drewna. Na północ od zamku oddzielony suchą fosą znajdował się przygródek. Założony na planie kwadratu o boku 80 metrów otoczony był drewniano-ziemnym wałem. Spełniał on rolę zaplecza gospodarczego dla zamku. Za czasów Siemowita IV przebywał tu między innymi Władysław II Jagiełło (w latach 1414 i 1419). Tu również Siemowit spędził ostatnie lata swego życia, umierając w 1426 roku, po czym został pochowany w nekropolii mazowieckich Piastów w katedrze płockiej. Następnie zamek był wielokrotnie przebudowywany, zmieniano jego wygląd oraz przeznaczenie.