Istnieje pogląd, że gród ten mógł istnieć nie w miejscu późniejszego zamku, lecz w miejscu mazowieckiego grodu w Żyglądzie (Segenande) lub na grodzisku w Napolu.
Zamek został wybudowany przypuszczalnie w roku 1290 lub 1303 przez Krzyżaków w zachodniej części miasta pomiędzy dwoma jeziorami, dziś już nieistniejącymi, w sąsiedztwie przesmyku, przez który prowadził szlak komunikacyjny. Zamek znajdował się na zachód od kościoła, na wzgórzu, na którym od 1911 r. znajduje się wieża ciśnień. Zamek był siedzibą komturii kowalewskiej, a po raz pierwszy komtur (bruder Rudulphus czu Schoneze kompthur) został wymieniony w 1278 roku. We wrześniu 1330 roku zamek był przez kilka dni bezskutecznie oblegany przez wojska Władysława Łokietka s. 509–511..
W 1410 r. w bitwie pod Grunwaldem poległ komtur kowalewski Nicolaus von Vitz, dlatego też zamek w sierpniu został opanowany przez sprzyjających Polakom rycerzy Mikołaja (I) von Pfeilsdorfa (z Pilewic) i Hansa Polcke (z Pułkowa). Po objęciu zamku przez wojska polskie, król oddał zamek w zarząd podkanclerzemu koronnemu Mikołajowi Trąbie. Po kilkunastu miesiącach Krzyżacy przy wsparciu oddziałów inflanckich Berna von Hevelmanna odzyskali zamek. W 1414 komturstwo zostało spustoszone podczas wojny głodowej.