Miasto i zamek uległo wtedy dużym zniszczeniom. Lustracja z 1660 roku podaje, że w mieście było zaledwie 20 domów. Następne zniszczenia przyniosły wojska rosyjskie atakujące broniących się konfederatów barskich w 1772 roku. Miasto nie odzyskało już swojej dawnej świetności, choć przez cały wiek XVIII przybywało ludności: 1777 roku były 43 domy, a w 1797 roku było ich 89. Były w nim trzy kościoły, karczma, browar, trzy młyny i tartak. W drugiej połowie XVIII wieku wybudowano drewniany ratusz na rynku.
W 1793 roku do miasta wkroczyły wojska pruskie. Zniszczone mury zamku uległy rozebraniu, a cenne archiwum ziemskie zostało wywiezione. W latach 1807–1815 Gostynin znajdował się w granicach Księstwa warszawskiego. Kolejnym ciosem dla miasta był wielki pożar z 1809 roku, który spowodował rozległe zniszczenia. Miasto było wtedy w trakcie upadku, jednakże sytuacja poprawiła się wraz z rokiem 1824, kiedy to do Gostynina przybyło 105 niemieckich sukienników wraz z rodzinami, oraz rozpoczęto budowę pralni i farbiarni. Miasto ponownie zaczęło rozkwitać. Odbudowano (1839) zniszczony podczas pożaru kościół Św. Marcina. Wybudowano także nowy ratusz oraz zajazd. W kolejnych latach tkactwo w Gostyninie trochę podupadło. Zmniejszyła się liczba rodzin tkackich (w połowie XIX wieku było ich 26).