Miasto opowiedziało się po stronie Związku Pruskiego, na którego wniosek w 1454 król Polski Kazimierz IV Jagiellończyk ogłosił przyłączenie Prus, włącznie z miastem, do Korony Królestwa Polskiego, jednakże w 1455 przeszło na stronę krzyżacką, za co w 1456 zostało najechane przez wojska z Gdańska.. Po zakończeniu wojny trzynastoletniej pomiędzy 1466 a 1657 Rybaki znajdowały się pod zwierzchnictwem Polski jako lenno. mały|lewo|Rybaki w 1684 r. W 1526 na zamku w Schönewik odbyły się uroczystości zaślubin księcia pruskiego Albrechta z księżniczką duńską Dorotą. Jeden z upośledzonych synów księcia Albrechta, Albrecht Fryderyk, żył na zamku aż do swojej śmierci w 1618. W 1679 miał miejsce wielki pożar miasta. Pod koniec XVII w. zamek został rozebrany, a budulec z jego rozbiórki został użyty do budowy twierdzy w Piławie. Po reformie administracyjnej Prus w 1818 miejscowość stała się siedzibą powiatu. W XIX w. do miasta dotarła linia kolejowa Piława-Królewiec.
W 1939, po kolejnej reformie administracyjnej, miasto zostało włączone do powiatu sambijskiego z siedzibą w Królewcu.