Z 1350 pochodzi wzmianka z dokumentu księcia Kazimierza I Trojdenowicza o obowiązku wsi biskupich do budowy izbic na grodzie czerskim uszkodzonych podczas najazdu Litwinów. W XIV w. książę mazowiecki Janusz I rozkazał w miejscu przestarzałego grodu zbudować ceglany zamek, który powstał w latach 1388–1410. Była to jedna z najważniejszych rezydencji księcia Janusza I, który zmarł na tym zamku 8 grudnia 1429.
Gdy tereny te zostały przyłączone do Królestwa Polskiego w 1526, zamek stał się własnością królewską. W tym też okresie nadbudowano cylindryczne wieże. Od 1547 zamek podlegał królowej Bonie, która nakazała wymianę drewnianej zabudowy dziedzińca na murowaną. Powstały wtedy: tzw. rezydencja Bony, czyli pałac o wymiarach 10 x 30 metrów, zwany dworem Feliksa Parysa lub Wielkim Domem, wzmiankowana w 1549 roku, a także Dom południowy. Na stokach wzgórza założono sady, ogrody i winnice.
W czasie Potopu szwedzkiego, w 1656 roku, zamek w Czersku był od dawna już zrujnowany przez zaniedbania starostów z rodu Parysów. Jednak warownia spełniła jeszcze niewielką rolę militarną, gdy po doznaniu klęski od Stefana Czarnieckiego pod Warką, kilkusetosobowy oddział Szwedów wycofując się, zajął na krótko wcześniej opuszczony zamek. Po kilku dniach i zawarciu umowy z wojskami polskimi Szwedzi dobrowolnie go opuścili i udali się do Warszawy.