Twórczość Tworzył satyry bliskie tradycji oświeceniowej (nasycone dydaktyzmem, wyśmiewające przede wszystkim ludzkie przywary, szlachtę, urzędników oraz kler), elegie filozoficzne oraz poematy liryczne bliższe w swojej stylistyce romantyzmowi. W skład jego dorobku poetyckiego wchodzą m.in. : cykl satyryczno-obyczajowy Kontabernija Płungiańsko-Telszewska, refleksyjno-elegijne Dumy, poemat Sobieskiada, tłumaczenie elegii Pogrzeb Tadeusza Kościuszki w grobach królów polskich w Krakowie z języka francuskiego na polski, balladę Biruta czy Pas Jo Mylistos Dionizo Poškos.
Jego Biruta jest uznawana za pierwszą balladę romantyczną napisaną w języku litewskim. Utwór został stworzony około 1823 roku, po raz pierwszy opublikowany po polsku w 1828 roku w autorskim przekładzie w piśmie Kolumb. Utwór stał się jedną z najpopularniejszych pieśni w społeczeństwie litewskim. Nie zachował się rękopis utworu - przetrwał on w trzech, różniących się między sobą wersjach, jedną z nich zanotował Dionizy Paskiewicz, zaś druga jest tłumaczeniem Ludwika Adama Jucewicza. Pieśń przedstawia dzieje pogańskiej Litwy i opowiada historię księżnej Biruty, wajdelotki i żony księcia Kiejstuta.