W I Rzeczypospolitej i w zaborze pruskim Na mocy pokoju toruńskiego miasto wraz z całą Warmią włączone zostało do Królestwa Polskiego. W czasie ostatniej wojny polsko-krzyżackiej w 1521 zamek został obroniony przed Krzyżakami. W 1538 Wartembork odwiedził Mikołaj Kopernik, który jako przedstawiciel kapituły towarzyszył biskupowi Janowi Dantyszkowi w czasie objazdu diecezji warmińskiej, gdy ten odbierał hołd od poddanych. W 1544 znaczną część zabudowy zniszczył pożar, kolejne miały miejsce w 1594 i 1596Piotr Skurzyński; „Warmia, Mazury, Suwalszczyzna”, Wyd. Sport i Turystyka – Muza S.A., Warszawa 2004 , s. 82.. Wskutek I rozbioru Polski w 1772 miasto wcielone zostało do Prus, i wraz z nimi weszło w 1871 w skład zjednoczonych Niemiec, rok później miasto uzyskało połączenie kolejowe. W 1810 roku władze pruskie po sekularyzacji majątku zakonu franciszkanów, na terenie byłych ogrodów klasztornych powołały dom karny. W 1862 roku została utworzona gmina żydowska. W 1871 powstał cmentarz żydowski, a w 1894 roku na miejscu domu modlitw synagoga. W 1877 urodził się w mieście Feliks Nowowiejski. W 1885 w Barczewie powstała trzecia na terenie Warmii polska księgarnia należąca do Adama NapieralskiegoTomasz Darmochwał, Marek Jacek Rumiński: Warmia Mazury, przewodnik. Białystok: Agencja TD, 1996. , s. 62..