W 1520 roku Rafał Leszczyński, kasztelan łędzki, który potem został biskupem przemyskim i płockim. W 1534 zmarł Stanisław Kościelecki, w 1545 roku zmarł Jan Kościelecki, w 1565 roku Achacy CzemaJerzy Antoni Kostka, Kostkowie herbu Dąbrowa, wyd. Z.P. POLIMER Koszalin 2010, , s. 257.. W 1598 wielki pożar doszczętnie zniszczył zabudowę, przetrwał zamek i dwa domy. Zamek w Człuchowie bezskutecznie próbowali zdobyć Szwedzi w 1627 roku. Udało się im to dopiero podczas potopu szwedzkiego w 1656 roku. Za panowania polskiego zamek był utrzymywany w dobrym stanie. Jeszcze przed potopem szwedzkim starosta człuchowski Jakub Wejher wyremontował zamek, a także ufundował w mieście barokowy kościół św. Jakuba – ob. główną zabytkową świątynię miasta.
Od 1772 roku (I rozbiór Polski) Człuchów należał do Prus, utracił funkcję siedziby starostów. W 1786 roku i 1793 roku miały miejsce pożary miasta, a wskutek działań zaborców zamek popadł w ruinę. W 1818 miasto zostało siedzibą powiatu. W 1877 Człuchów uzyskał połączenie kolejowe ze Szczecinkiem i Chojnicami. Po I wojnie światowej było to miasto graniczne. mały|Stacja benzynowa z tworzyw sztucznych (1972) Podczas II wojny światowej polska organizacja konspiracyjna Odra obserwowała niemiecką działalność gospodarczą w Człuchowie.