Kościół znacznie ucierpiał w czasie wojen napoleońskich z powodu zubożenia ludności. W 1818 podczas ogromnej wichury pochyliła się jedna z wież, którą wyprostowano w 1821 roku – 200 rocznicy wybudowania kościoła. W 1832 roku odbudowano hełm na jednej z wież dzwonniczych, który uległ zniszczeniu w roku 1827. Całkowity remont świątynia przeszła w 1867 roku. W tym samym roku ufundowano 3 nowe dzwony.
Z biegiem lat, Elbląg rozbudowywał się i niewielki kościół św. Anny stał się zbyt mały dla rozrastającej się parafii. Pod koniec XIX wieku podjęto decyzję o budowie nowego kościoła. W 1899 roku rozebrano stary kościół i w tym samym miejscu w latach 1900–1901 zbudowano nową, imponującą pod względem rozmiarów neogotycką świątynię pod tym samym wezwaniem.
Organy W kościele św. Anny do 1640 znajdował się tylko pozytyw. W tym samym roku świątynia otrzymała nowe organy. Kolejny nowy instrument ufundowano w 1763 roku za przyczyną ówczesnego burmistrza Elbląga Carla Christiana Langego. Nowe organy kosztowały 2200 florenów. Dla nowego instrumentu w latach 1762–1763 zbudowano nowy chór muzyczny.