Po zamachu Stiepana Chałturina na petersburski Pałac Zimowy referował przed carem Aleksandrem II postępy śledztwa, zaś po zabójstwie cara w marcu 1881 kierował nim.
15 kwietnia 1881 został nominowany na dyrektora Departamentu Policji. W 1884 został senatorem, rok później był już wiceministrem spraw wewnętrznych, w 1894 – kierownikiem Kancelarii państwowej. Dwa lata później został sekretarzem stanu, zaś w 1900 – sekretarzem stanu Wielkiego Księstwa Finlandzkiego (po roku sprawowania tychże zadań jako p.o.). Jego nominacja, równoczesna z wyznaczeniem Nikołaja Bobrikowa na generał-gubernatora Finlandii, zapoczątkowała szeroko zakrojoną rusyfikację Finlandii.
4 kwietnia 1902, po zamordowaniu Dmitrija Sipiagina przez członka Organizacji Bojowej eserowców Stiepana Bałmaszowa, został ministrem spraw wewnętrznych i szefem Samodzielnego Korpusu Żandarmów.
Zdaniem Bazylowa Plehwe nie miał oryginalnego programu politycznego, lecz stawiał przed sobą jedynie zadanie zwalczania wszystkich wrogów samodzierżawia (ruchu robotniczego, ruchów chłopskich). Ograniczał swobodę działania ziemstw i zainicjował konfiskatę majątku Kościoła ormiańskiego.