W XIV stuleciu osadę przeniesiono ze wzgórza zamkowego i w okolicach dzisiejszego rynku zaczęło powstawać miejscowość, która w roku 1339 otrzymało prawa miejskie. Pułtusk stopniowo się rozwijał, ale musiał się też zmagać z najazdami litewskimi. Choć znajdował się na wyspie, a sam zamek miał charakter obronny, Litwinom kilkakrotnie udało się niemal doszczętnie zniszczyć i warownię, i miasto. O tych napaściach pisał w swej Kronice Jan Długosz. Przedstawiając wydarzenia z roku 1324, wspomina: „Pod tenże sam czas Dawid starosta zamku Grodzieńskiego (Gartin) z rozkazu rzeczonego książęcia Gedymina najechawszy ziemię Mazowiecką, miasteczko Pułtusk (Polthowsko) do biskupa Płockiego należące, i sto trzydzieści wsi okolicznych w dzień Ś. Elżbiety rzezią, łupiestwy i pożogami spustoszył, trzydzieści kościołów parafialnych spalił, i cztery tysiące dusz zabrał w niewolą”. Do podobnych wydarzeń doszło również w roku 1337, ale najdramatyczniejszy najazd litewski miał miejsce w roku 1368. Wówczas Litwini splądrowali miasto, uprowadzając mnóstwo ludzi. Dzielnie broniącą się załogę zamku spalili.