W 1833 został mimowolnie zaangażowany w tzw. „sprawę Zaliwskiego”, za co został uwięziony i zesłany na Syberię. Przebywał w Tobolsku i Iszymiu, gdzie wszedł w środowisko filomatów i dekabrystów. Wrócił do kraju w 1842 i zajął się gospodarką. Nawiązał też znajomości z literatami warszawskimi. Po 1848 współredagował „Bibliotekę Warszawską”. Był jednym z autorów haseł do 28 tomowej Encyklopedii Powszechnej Orgelbranda z lat 1859–1868. Jego nazwisko wymienione jest w I tomie z 1859 roku na liście twórców zawartości tej encyklopedii.„Encyklopedia Powszechna”, tom I, wyd. Samuel Orgelbrand, Warszawa, 1859.
W proteście wobec planów wywołania powstania styczniowego wyjechał za granicę i nie brał w nim udziału. Zgromadził w tzw. Belwederze Skępskim duży księgozbiór, liczący ponad 20 tys. woluminów, w tym kilkadziesiąt inkunabułów, który stał się podstawą obecnej Biblioteki TNP Towarzystwa Naukowego im. Zielińskich w Płocku. Patron Szkoły Podstawowej w Skępem. Został pochowany w SkępemGustaw Zieliński h. Świnka, [w:] M. Krajewski, Nowy słownik biograficzny Ziemi Dobrzyńskiej, t. 2: M-Ż, Dobrzyńskie Towarzystwo Naukowe, Rypin 2014, s. 543-546, ..