Analiza formy architektonicznej i warsztatu budowlanego przeprowadzona przez doktora Bogusza Wasika przemawia przeciw bardzo wczesnej datacji zamku. Założenie nie odpowiadało niewielkim wczesnym kasztelom ziemi chełmińskiej, takim jak zamek w Papowie Biskupim, lecz wykazywało znacznie większe podobieństwo do rozwiniętych zamków konwentualnych w Radzyniu Chełmińskim i Brodnicy. Z tego względu początek inwestycji należy najprawdopodobniej łączyć z rządami biskupa Mikołaja Afri w latach 1319–1323 i przede wszystkim jego następcy Ottona w latach 1323–1349.
Zasadniczy trójskrzydłowy korpus zamku powstał najprawdopodobniej za biskupa Ottona, choć prace wykończeniowe mogły być kontynuowane jeszcze w okresie rządów Wikbolda Dobilsteina w latach 1363–1385. Zaplanowanego od początku skrzydła zachodniego początkowo nie wzniesiono ponad poziom fundamentów. Zrealizowano je dopiero w zmienionej postaci za biskupa Arnolda Stapila w latach 1402–1416.