W rozporządzeniu o likwidacji cmentarza wspomina się o rozebraniu ogrodzenia i usunięciu nagrobków.
W tym też czasie została sprofanowana mogiła rabina Pinkasa Węgrowa zmarłego w 1937 roku. Niemcy użyli nagrobków z cmentarza do wykładania chodników wokół dawnego browaru Schnerrów na ulicy Kolskiej (późniejsze „Konserwy”, obecnie tereny supermarketu Intermarché). Macewami wyłożono również drogi letniska Grabieniec, położonego w pobliżu miasta, część z nagrobków uległa zniszczeniu – ich fragmenty do dziś spotyka się w okolicy. Ostatecznego zniszczenia cmentarza dokonano wiosną 1943 roku.
Po wojnie teren cmentarza obsadzono drzewami. Był użytkowany jako pastwisko lub teren leśny. W 1986 roku architekt Irena Baszkowska zaznaczyła narys cmentarza na planie zagospodarowania przestrzennego miasta. W 1993 roku powstał projekt uporządkowania nekropolii, stworzony społecznie przez tegoż architekta.