Mieszkańcy nie na mocy żadnego prawa, lecz z wolnej i dobrej swojej woli, wybudowali część warowni, pod warunkiem, że jeśli w następstwie czasu, zamek częściowo lub całkowicie ulegnie zniszczeniu, obywatele nie będą zobowiązani i zmuszani do jego odbudowania lub naprawy. Zapewnił również, że żadnych straży, ani wart w zamku pełnić nie będą. Jednak w razie napadu pogan do wspólnej obrony powinni przystąpić wszyscy mieszkańcy. Król Polski Kazimierz IV Jagiellończyk w Pyzdrach 17 grudnia 1474 r. pozwolił Feliksowi z Paniowa, swojemu dworzaninowi wykupić od Jana z Pilczy, kasztelana krakowskiego zamek wraz z miastem. Zamek został zdobyty w 1648 roku przez Kozaków, którzy go zrujnowali i zniszczyli archiwa miejskie. Według lustracji z 1661 r. drewniany zamek był już odbudowany. W XVIII w. popadł w ruinę. Król Polski Stanisław August Poniatowski w postanowieniu z 1767 r. napisał: Michał Rzewuski, wojewoda podolski, zamierza dla dobra powszechnego z dużym własnym nakładem doprowadzić spustoszały zamek do właściwego stanu. Z tego więc powodu król pozwala pociągnąć mieszczan do podwód, w okręgu do 10 mil i nie częściej jak dwa razy w roku, do końca jego życia.