Poza nim samym, jego żoną oraz synem, cała rodzina Schwartzbergów została zamordowana podczas drugiej wojny światowej i niemieckiego ludobójstwa na europejskich Żydach. Hirsch Schwartzberg wraz z żoną i synem byli ulokowani w wileńskim getcie. We wrześniu 1943 roku, zaledwie na kilka dni przed końcową likwidacją getta, wraz z kilkuset innymi żydami udało im się uciec przed zagładą dzięki uzyskaniu pozwolenia na pracę w pośpiesznie rozszerzonym , oficera Wehrmachtu Karla Plagge, na ulicy Subocz () w Wilnie. Chociaż wskaźnik przeżycia był wyższy niż w zlikwidowanym wileńskim getcie, Plagge oraz jego bardziej życzliwi oficerowie nie mogli zapobiec dalszemu przebiegowi wydarzeń. Większość żydowskich pracowników obozu HKP zostało potem zabitych w głównej mierze przez ukraińskie oraz estońskie oddziały SS w lipcu 1944 roku, przed wkroczeniem Armii Czerwonej do Wilna. Ukrywającemu się wraz z żoną i synem Schwartzbergowi udało się uciec przed likwidacją.