W 1382 roku, a także na mocy decyzji Władysława Jagiełły w 1391 roku, gród przejął książę mazowiecki Janusz I Starszy jako wiano swojej żony Danuty Anny. Jak wynika ze wspomnianej decyzji, w której napisano „terram nostram Drohiczensen, Melnyk, Surasz, Byelsko ac omnibus villis in eisdem districtubus”, zamek był centrum administracyjnym dla najbliższej okolicy. Przed 1420 rokiem prawdopodobnie książę Witold ufundował w dolnej części zamku katolicki kościół pw. Bożego Ciała, Wniebowzięcia NMP, św. Mikołaja i Wszystkich Świętych. Charakter obronny dolnej części zamku nadano prawdopodobnie dopiero w XV wieku, być może w czasach posiadania go w latach 1430–1444 przez księcia mazowieckiego Bolesława IV warszawskiego, od którego zamek kupił król Kazimierz IV Jagiellończyk. Powstał wtedy wał drewniano-ziemny o grubości około trzech metrów na kamiennej ławie z wieżą od strony północnej. Na pozostałościach tego wału znajduje się obecnie wschodnia część kościoła św. Trójcy. Zamek górny znajdował się od zachodu w wyższej partii góry i jego głównym budynkiem była kamienica wyposażona w dwie baszty. Oba człony oddzielała wieża, w której znajdowały się wrota. W 1486 roku na zamku przebywał Kazimierz Jagiellończyk, a 18 września 1501 roku w oczekiwaniu na koronę polską przybył na zamek Aleksander Jagiellończyk na czele orszaku 1400 ludzi.