Już w 1450 r. wielki mistrz zakonu Ludwig von Erlichshausen odbierał tutaj hołd od rycerstwa wójtostwa tczewskiego. Podczas wojny trzynastoletniej (1454–1466), Sobowidz został włączony do Korony Polskiej. Następnie król Kazimierz IV Jagiellończyk oddał go pod zastaw miastu Gdańsk.
W 1459 r. władze miasta postanowiły zameczek rozebrać, by zapobiec ulokowaniu się w nim na stałe załogi wojsk polskich. Po zakończeniu wojny nastąpiła reorganizacja administracji. Sobowidz stał się siedzibą starostwa. Pierwszymi starostami byli Bażyńscy. Około 1512 r. wojewoda malborski Jerzy Bażyński zaczął odbudowywać zamek. Na zażalenie zaniepokojonych tym gdańszczan, król Zygmunt I Stary rozstrzygnął, że wojewoda może wystawić zamek, ale nie wolno mu wznieść żadnych nowych warowni. Mimo odbudowania zamku do dziś pozostały po nim tylko fragmenty fosy i gotyckie piwnice.
W 1585 r. ustępuje Ludwik Bażyński dobra wraz z zamkiem Janowi (Hans)Beier. W latach 1597–1627 dobra należały do Wejherów, a później do Kaspra Denhoffa.