W XV wieku ród Grotów zarządzający zamkiem dokonał jego rozbudowy, dobudowując m.in. dwukondygnacyjne skrzydło mieszkalne od strony miasta (południowej), kwadratową ceglaną wieżę mieszkalno-obronną od strony Wisły, przylegające do niej skrzydło mieszkalne oraz suchą fosę. Ówczesny wygląd zamku opisuje inwentarz z 1509 roku.
Faza renesansowa thumb|120px|Plan zamku dolnego W 1509 roku Zygmunt I Stary nadaje prawa do zamku rodowi Firlejów. Wtedy też, za sprawą Mikołaja Firleja, ma miejsce druga przebudowa. Z jego polecenia Santi Gucci oraz Piotr Likiel przebudowali zamek, nadając mu styl włoskiego renesansu. Dodano wtedy m.in. attykę oraz nadbudowano południowe skrzydło mieszkalne od strony miasta o jedną kondygnację. Wieża kwadratowa od strony Wisły także otrzymała attykę około 1540 roku.
W roku 1655 podczas Potopu zamek został zajęty i spalony przez wojska szwedzkie, a w 1657 roku został w znacznej części zniszczony przez siedmiogrodzkie oddziały księcia Jerzego Rakoczego.