Położona obok zamku Nieszawa była niewygodnym konkurentem w handlu dla Torunia, więc na skutek żądania mieszczan toruńskich w roku 1460 przeniesiono mieszkańców Nieszawy o 30 km w górę Wisły, gdzie powstało miasto Nieszawa, zwane wówczas Nową Nieszawą. W zamku dybowskim gościli królowie polscy odwiedzający Toruń i Prusy Królewskie.
Podczas wojen szwedzko-polskich zamek został spalony przez Szwedów w 1656 roku. W 1703 roku, podczas oblężenia Torunia przez Szwedów, z zamku ostrzeliwano miasto, dlatego też wojska polskie stacjonujące w mieście ostrzelały zamek, przez co zniszczono jego część mieszkalną od strony rzeki. W XVIII wieku zamek był własnością rodu Dębskich, natomiast po rozbiorach otworzono w nim gorzelnię. W roku 1813 czterdziestu Francuzów pod dowództwem porucznika Savary wytrzymało w zamku trzymiesięczne oblężenie Rosjan, kapitulując dopiero wraz z Toruniem. W 1848 roku w murach przebito nowe, widoczne do dzisiaj strzelnice. Zamek przetrwał do dzisiaj w postaci ruiny, zachowały się imponujące mury obwodowe, 2-kondygnacyjna wieża bramna i obwarowania.