Po połączeniu wszystkich zarządów Ludowego Komisariatu Spraw Wewnętrznych, działających dotychczas (do 1934 r.) w republikach związkowych w jeden centralny organ Ludowy Komisariat Spraw Wewnętrznych ZSRR i włączeniu w jego struktury dotychczasowego Połączonego Państwowego Zarządu Politycznego OGPU jako Głównego Zarządu Bezpieczeństwa Państwowego, w 1934 roku Ogolcow został przeniesiony (do Głównego Zarządu Bezpieczeństwa Państwowego-NKWD), gdzie następnie od grudnia 1935 do stycznia 1936 roku był szefem sztabu odeskiego oddziału wojsk pogranicznych NKWD.
Od 6 stycznia 1936 do 17 lutego 1938 roku pełnił tę samą funkcję w krymskim oddziale wojsk pogranicznych NKWD, a do marca 1939 roku archangielskiego. W latach 1939–1941 szef zarządu NKWD w Leningradzie, a od marca do lipca 1941 całego obwodu leningradzkiego. Od 28 grudnia 1942 do 7 maja 1943 roku szef zarządu NKWD w Kujbyszewie, a od 7 maja 1943 do 22 marca 1944 roku, całego obwodu. Następnie po zakończeniu II wojny światowej (1945) do grudnia 1946 roku sprawował funkcję zastępcy ludowego komisarza bezpieczeństwa państwowego (od połowy 1946 ministra b.p.) Wsiewołoda Mierkułowa.