Następnie członkowie Chewra Kedisza, rabinat, członkowie zarządu i rady wraz ze zgromadzonymi podczas otwarcia Żydami siedem razy (zgodnie z tradycją) okrążyli teren cmentarza. 17 sierpnia 1932 roku władze Krakowa wydały zgodę na otwarcie cmentarza.
Cmentarz graniczył z inną żydowską nekropolią, na której chowano Żydów, z gminy podgórskiej.
Podczas II wojny światowej cmentarz ulegał stopniowej dewastacji. W 1941 roku w budynku przedpogrzebowym pracownicy krakowskiej Gminy Żydowskiej próbowali ukryć przedmioty liturgiczne z synagog, w tym zabytkowe zwoje Tory. Wraz z przeznaczeniem budynku na cele obozowe w 1944 roku zostały odkryte i przejęte przez załogę obozu. Zostały one wywiezione do Instytutu Badań Wschodnioniemieckich, a część z nich została zniszczona.
W 1942 roku na terenie nekropolii i sąsiadującego cmentarza przy ulicy Jerozolimskiej założono obóz pracy przymusowej, od 1944 roku obóz koncentracyjny KL Plaszow. Praktycznie wszystkie macewy i nagrobki użyto do utwardzenia dróg i na podmurówki baraków.
W domu przedpogrzebowym urządzono stajnie dla koni i bydła oraz chlew, a w Szarym Domu zamieszkali esesmani. Budynek wykorzystywano również jako więzienie. W 1944 roku budynek został częściowo rozebrany, a centralna kopuła została wysadzona.