Na tutejszym zamku rezydował wojewoda, tu też zbierał się sąd ziemskiSławomir Lewandowski „Województwo pomorskie na przestrzeni wieków” [dostęp 2012-10-22].. Ze względu na wysoki procent ludności niemieckojęzycznej już w XVI w. rozpowszechnił się tu luteranizm. W 1594 miasto gościło króla Zygmunta III Wazę, a 23 lutego 1629 r. Szwedzi ograbili i spalili znaczną część zabudowy Skarszew wraz z zamkiem (odbudowano go dopiero na przełomie XVII i XVIII wieku).
Wyrazem napięć religijnych w dawnej Rzeczypospolitej były wydarzenia z 1741 r. W pierwsze święto wielkanocne w skarszewskim zborze luterańskim, wskutek pękania drewnianej konstrukcji empor, doszło do paniki – zginęło kilku wiernych, a wielu zostało rannych. Zbór został zamknięty i zakazano odprawiania w nim nabożeństw. W tej sytuacji, z obawy przed przeszkodami, które mogła stwarzać strona katolicka, przygotowano potajemnie w Gdańsku elementy budowlane i przewieziono je do Skarszew na 131 wozach, w eskorcie setki udających robotników gdańskich żołnierzy i licznej rzeszy rzemieślników. Po dotarciu na miejsce, mimo blokad i protestów, w ciągu 24 godzin, z 14 na 15 września 1741 r., rozebrano stary zbór i wybudowano nowy z tzw. „muru pruskiego”Edward Zimmermann, O tym jak gdańszczanie w Skarszewach w ciągu 24 godzin kościół zbudowali, Skarszewy 2002.. W l.