Od 1379 roku ziemią wiską zarządzał Siemowit IV.
W roku 1382 książę Siemowit IV zastawił Wiznę z całą kasztelanią Krzyżakom za 7000 florenów, jednak wykupił ją od nich na początku roku 1401. Niedługo później w dniu 30 grudnia 1401 roku książę Siemowit IV oddał w zastaw warownię w Wiźnie wraz z okolicznym okręgiem swemu bratu, księciu warszawskiemu i ciechanowskiemu Januszowi I Starszemu. W 1435 roku ziemia wiska została wykupiona z zastawu przez syna Siemowita IV księcia Władysława I Płockiego od Bolesława IV. W 1468 roku wyrok sądu złożonego z dostojników królewskich pozbawił Katarzynę, księżną mazowiecką, praw do ziemi wiskiej i przyłączył ją do Korony. W 1495 roku po śmierci Janusza II ziemia wiska wraz z zamkiem została inkorporowana do Korony przez króla Jana Olbrachta. Jednak jego następca Zygmunt I Stary udzielił w 1507 roku upoważnienia księżnej Annie i jej synom Stanisławowi i Januszowi na wykup zamku i ziemi wiskiej od starosty Jakuba Glinki, a po jego śmierci od jego następcy Jakuba Kościeleckiego. Do wykupu przez Annę zamku i Wizny doszło w 1512 roku za 6 tys. florenów. W 1526 roku ziemia wiska została ponownie włączona do Korony Polskiej.