Tam prawdopodobnie dołączył do nich Richard Thomalla z Centralnego Zarządu Budowlanego SS i Policji, w którego towarzystwie udali się do wsi Bełżec, gdzie 1 listopada rozpoczęli budowę pierwszego obozu zagłady w Generalnym Gubernatorstwie. Do czasu przybycia komendanta Christiana Wirtha (22 grudnia) Schwarz kierował całością spraw związanych z budową obozu.
Obóz oficjalnie rozpoczął działalność 17 marca 1942 roku, kiedy przybyły doń pierwsze transporty z gett w Lublinie i Lwowie. Schwarz pełnił funkcję zastępcy komendanta. Był jednocześnie kierownikiem tzw. obozu II, czyli strefy zagłady, w której znajdowały się komory gazowe i masowe groby. W obozowej hierarchii był „osobą nr 2” i bezpośrednio odpowiadał za sprawny przebieg procesu eksterminacji. Wykazywał się dużym okrucieństwem wobec więźniów i pędzonych na śmierć ofiar.
Schwarz cieszył się pełnym zaufaniem komendanta Wirtha, który uznawał go za wystarczająco „twardego”, by podołać kierowaniu obozem II. Obaj utrzymywali również zażyłe relacje towarzyskie. Gdy w sierpniu 1942 roku Wirth został przeniesiony do Lublina na stanowisko inspektora wszystkich obozów akcji „Reinhardt”, Schwarz zachował stanowisko zastępcy komendanta i kierownika obszaru zagłady.