W 1262 zamek został po raz pierwszy wzmiankowany jako castrum Birgelow, w związku z najazdem Litwinów pod wodzą Trojnata i skutecznej obronie Krzyżaków w jednej z wież. Pierwszym komturem był Arnold Kropf, który pełnił tę funkcję w latach 1270–1276. W 1270 lub 1271 doszło do bitwy pod zamkiem z Jaćwingami pod wodzą Skomanda. Około 1280 budowę kontynuowano z cegły i wtedy też powstał tympanon. W latach 1300–1305 zamek został rozbudowany i podwyższony. Około 1330 dodano drugi mur i powstał parcham. W latach 1386–1415 zamek ten był siedzibą komturów bierzgłowskich. Po bitwie pod Grunwaldem w lipcu 1410 rycerze chełmińscy zdobyli zamek. Po likwidacji komturstwa w 1415 zamek stał się siedzibą administracyjną prokuratora krzyżackiego. Podczas wojny trzynastoletniej w lutym w 1454 zamek został zajęty przez wojska propolskiego Związku Pruskiego i częściowo rozebrany na rozkaz króla Kazimierza Jagiellończyka.
W latach 1474–1840 był on własnością władz Torunia. Po pożarze, który miał miejsce w 1520 i 1580, zamek popadł w ruinę. W 1733 zamek był opisywany jako będący w ruinie. W 1769 pod zamkiem doszło do potyczki konfederatów barskich z milicją miasta Torunia, wspieraną przez wojska rosyjskie.