książę gniewkowski Władysław Biały korzystając z pomocy pana von Osten z Drezdenka i oddziałów burgundzkich Filipa Śmiałego wtargnął na Kujawy i obległ zamek w Raciążku.
Przed 1383 rokiem główny budynek został przez biskupa Zbyluta z Wąsocza poszerzony do rozmiarów 17 × 25 metrów. Wtedy też wzdłuż krawędzi zbocza wzniesiono mury obwodowe. Podczas kolejnych rozbudów przy południowym odcinku murów powstały zabudowania gospodarcze. W kwietniu 1388 roku na zamku przebywał Władysław Jagiełło. Zamek w okresie poprzedzającym Wielką Wojnę był kilkukrotnie wykorzystywany do rokowań z Krzyżakami. Następny pobyt Jagiełły potwierdzony jest 25 maja 1402 roku, gdy regulowano problem Drezdenka.
W dniach 18-23 maja 1404 roku na zamku przebywali król Władysław II Jagiełło i książę Witold Kiejstutowicz, których posłowie spotykali się na wyspie pod zamkiem z posłami wielkiego mistrza Konrada von Jungingen. Negocjacje prowadzono na temat wykupu przez Polskę ziemi dobrzyńskie i zamku w Złotorii oraz potwierdzenia przynależności Żmudzi do Zakonu Krzyżackiego. W wyniku negocjacji podpisano pokój w Raciążku.