W 1866 Orzeszkowski przeszedł na emeryturę i przeniósł się do Płocka, gdzie już kilka lat wcześniej otrzymał nominację na prepozyta kapituły katedralnej (1863) i oficjała generalnego konsystorza (1864). Godności te zawdzięczał Wincentemu Popielowi, rektorowi Akademii Duchownej w Warszawie, który w 1863 na mocy nominacji papieskiej zasiadł na stolicy biskupiej w Płocku. W latach zesłania biskupa Popiela w Nowogrodzie (1867-1873) Orzeszkowski jako wikariusz generalny zarządzał diecezją. Później, przekroczywszy już 70. rok życia, ograniczał się do przewodzenia posiedzeniom kapituły, zajmował się też nabytym majątkiem ziemskim Leszczyn Szlachecki niedaleko Płocka.
Był odznaczony m.in. Orderem Św. Stanisława i Orderem Św. Anny. Został pochowany w Płocku. Ćwierć majątku Leszczyn zapisał diecezji na restaurację katedry w Płocku, z pewnej części utworzył fundację dla studentów, resztę przeznaczył dla bratanka.
Bibliografia Hieronim Wyczawski, Wincenty Fabian Orzeszkowski, w: Polski Słownik Biograficzny, tom XXIV, Zakład Narodowy imienia Ossolińskich, Wrocław-Warszawa-Kraków-Gdańsk 1979, s.