Na początku 1377 roku Władysław Biały poddał zamek wojskom królewskim. W latach 1379–1392 zamek należał do Władysława Opolczyka, który otrzymał go od Ludwika Węgierskiego wraz z ziemią dobrzyńską i częścią Kujaw. Jego dobre stosunki z Krzyżakami sprawiły, że w maju 1391 roku oddał bezprawnie zamek w zastaw Zakonowi za 50 tys. florenów, co m.in. stało się powodem konfliktu króla Jagiełły z księciem. W 1404 roku na mocy ugody z Raciążka wykupił go Władysław Jagiełło.
W dniu 2 września 1409 roku po ośmiodniowym oblężeniu przez Krzyżaków został zdobyty i zniszczony na rozkaz wielkiego mistrza Ulricha von Jungingena. Wycięto przy tym polską załogę zamku przy dźwiękach muzyki.
W maju 1411 roku na polu w pobliżu zamku wymieniono opieczętowane dokumenty I pokoju toruńskiego, na podstawie którego zamek powrócił do Królestwa Polskiego, a Krzyżacy zobowiązali się wypłacić odszkodowanie za jego zniszczenie w wysokości około 3 ton srebra. Drugi pokój toruński ostatecznie przyczynił się do utraty militarnego znaczenia zamku w Złotorii, ponieważ przestała w pobliżu istnieć granica państwowa na Drwęcy.
Na początku XIX w. uległ częściowej rozbiórce, której zaniechano z powodu bardzo mocnej zaprawy użytej do budowy.