Pierwszy pogrzeb na nowej tarnogórskiej nekropolii miał miejsce 17 marca 1822 roku, kiedy to pochowano Markusa Runkla, syna Mordechaja, mieszkańca którejś z pobliskich wsi. Jego nagrobek zachował się do czasów współczesnych. Pierwszą osobą z Tarnowskich Gór, która spoczęła na cmentarzu, była z kolei niespełna dwuletnia Johanna Poppelauer, zmarła 30 lipca 1822 roku.
Nekropolia początkowo zajmowała powierzchnię ok. 0,18 ha, na początku 1878 roku jej teren powiększono do obecnych ok. 0,62 ha. W 1874 roku przy wejściu na cmentarz wybudowano niewielki, składający się z jednego pomieszczenia dom przedpogrzebowy według projektu Adolfa Goerke. Dwadzieścia lat później oddano do użytku nowy, większy budynek z czerwonej cegły i piaskowca, którego projekt sporządził miejski budowniczy, Johannes Kindler.
thumb|Fragment najstarszej części kwatery północnej (2024) Pochówki na tarnogórskim cmentarzu żydowskim odbywały się regularnie do lat 30. XX wieku, a ostatnią znaną z nazwiska osobą, która tu spoczęła, był Simon Böhm, zmarły 14 lipca 1938 roku. Kirkut przetrwał II wojnę światową w stanie niemal nienaruszonym (choć istniały niezrealizowane plany poszerzenia jego kosztem drogi do Gliwic), a w 1945 roku stał się własnością Skarbu Państwa i został uznany za cmentarz komunalny.