Sprzeciwiał się barierze celnej z Rosją oraz powołując się na Konstytucję Królestwa Polskiego z 1815 roku nie wykonał konfiskaty majątków Karola Trzaskowskiego i Marii Wirtemberskiej, za co został zdymisjonowany w sierpniu 1832 roku, jednak pozostawiono prawo do emerytury, jaka przysługiwała mu po 25 latach pracy urzędniczej, której jednak się zrzekł. Zajął się zarządzaniem majątkami. To za jego czasów w Krośniewicach powstał zajazd, młyn parowy, piekarnia, tartak, fabryka cygar, tytoniu i tabaki oraz stacja pocztowa.
W 1840 roku wyjechał razem z synem do uzdrowiska Salzbrunn na Śląsku. W 1841 powrócił w celu załatwienia sprawy w Jedwabnem. Podczas podróży przeziębił się i chory został przywieziony do domu Wiktora Rembielińskiego w Łomży, gdzie zmarł 12 lutego 1841 roku.
Rodzina Rajmund Rembieliński ożenił się 15 lutego 1797 roku z Agnieszką Heleną Opacką. Doczekali się jednej córki, która zmarła w wieku niespełna dwóch lat w roku 1807. Małżeństwo po dwudziestu latach zakończyło się rozwodem, pomimo którego małżonkowie pozostali w przyjaźni, a Agnieszka po rozwodzie z drugim mężem była częstym gościem rodziny Rembielińskich. W 1819 roku Rajmund ożenił się po raz drugi z Antoniną Weltz.