Z powodu jego stanowczości w wykonywaniu obowiązków, czego efektem były opory ze strony miejscowej szlachty i konfliktu interesów z ordynatem Zamoyskim, tuż po zakończeniu wojny opuścił Galicję i powrócił na stanowisko prefekta departamentu płockiego. Za zasługi podczas wojny 17 czerwca 1809 roku został odznaczony przez króla Fryderyka Augusta Orderem św. Stanisława.
Zajął się rozwojem miast i gospodarki, m.in. zarządził likwidowanie prywatnych młynów i grobli, które zamulały rzeki, wprowadził sześcioletnie zwolnienie od podatku dla osadników, a dla tych przybyłych z Niemiec również zwolnienie z poboru do wojska. W samym Płocku rozpoczęto brukowanie ulic, została założona drukarnia prefekturalna Antoniego Lenteckiego i Samuela Lossmana, w której od 6 października 1810 roku drukowano Dziennik Departamentowy Płocki, a od 15 lutego 1812 Dziennik Urzędowy Departamentu Płockiego. Rembieliński wspierał również oświatę, m.in. przekazując pieniądze dla Szkoły Departamentowej w celu założenia obserwatorium astronomicznego oraz kulturę, z jego inicjatywy zaadaptowano dawny kościół św. Trójcy na Teatr Płocki.