W 1943 r. został przymusowo wcielony do Organizacji Todt. Po zajęciu Berlina przez wojska radzieckie w 1945 r. podjął służbę jako inspektor policyjny, rozpoczynając karierę polityczno-wywiadowczą. Jeden z głównych twórców oraz wieloletni (1957–1989) szef służby bezpieczeństwa w NRD – Stasi. Pod jego rządami aparat bezpieczeństwa stale się rozrastał, stopniowo obejmując swą kontrolą wszystkie dziedziny życia społecznego. Inwigilacji poddany został cały naród, nie wyłączając członków rządzącej partii, a nawet osób zajmujących czołowe funkcje w państwie. W tym celu utworzono specjalne tajne archiwum, któremu nadano kryptonim „Czerwony goździk”. „Towarzysze, my musimy wszystko wiedzieć” („Genossen, wir müssen alles wissen”) – była to maksyma szefa służby bezpieczeństwa.
Z racji sprawowanych funkcji był „skoszarowany” w partyjno-rządowych osiedlach kierownictwa NRD – początkowo wokół Majakowskiring w Berlinie-Pankow, następnie na Osiedlu Leśnym pod Bernau.