Po 10 latach poświęconych projektowi, z ponad tysiącem fotografii, Schwarz zdecydował się założyć Żydowskie Muzeum Galicja, stałą galerię dla swoich prac.
W lutym 2004 roku, samochodem wyładowanym sprzętem komputerowym i fotograficznym, Schwarz przyjechał do Polski. Z pomocą przyjaciół rozpoczął przekształcanie starego magazynowego budynku na Kazimierzu, w dawnej żydowskiej dzielnicy Krakowa. Zarejestrował Muzeum jako instytucję pożytku publicznego w Polsce i Wielkiej Brytanii. Jonathana Webbera poprosił o przewodniczenie Radzie Powierniczej. W ciągu siedmiu tygodni Muzeum zostało otwarte.
Wystawa fotografii Schwarz, „Śladami Pamięci”, stała się centralnym punktem Muzeum. W ciągu następnych trzech lat, dzięki wielu kolejnym wystawom, bogatemu programowi imprez kulturalnych i działalności edukacyjnej, a przede wszystkim dzięki poświęceniu i zaangażowaniu swojego założyciela, Muzeum stało się kluczową instytucją przywracającą zainteresowanie żydowską kulturą w Polsce.
Aż do swej przedwczesnej śmierci w 2007 roku, Schwarz uświadamiał tysiącom odwiedzających nie tylko istnienie świata, który został zniszczony przez Holokaust, ale także podejmowanie niezliczonych prób zachowania pamięci o tym świecie we współczesnej Polsce.