W połowie wieku XVII Złotów znalazł się w rękach rodziny Grudzińskich. Najbardziej znany jej członek, to Andrzej Karol Grudziński (zm. 1678), starosta nakielski oraz wojewoda kaliski i poznański. Okrył się niesławą z powodu zdrady na rzecz wojsk szwedzkich podczas „potopu”. Potem ponownie przeszedł na stronę polską, prowadząc wojnę partyzancką przeciw najeźdźcy z północy. W odwecie Szwedzi spalili miasto i zamek (1657). W 1674 roku miasto strawił wielki pożar, niszcząc niemal całą zabudowę. Pod koniec XVII wieku właścicielami Złotowa stał się ród Działyńskich. Niewiele lat później miasto stanęło w obliczu kompletnej ruiny, wyniszczone przemarszami wojsk polskich, saskich, szwedzkich i rosyjskich w trakcie III wojny północnej, kontrybucjami i licznymi epidemiami. Niekorzystną sytuację przyniosła wojna sukcesyjna 1733–1735. Także w wojnie siedmioletniej 1756–1763 przemaszerowali Rosjanie i wojska pruskie.