W tym okresie odwiedzał białostocki dwór Izabelli Branickiej, gdzie jego stryj Andrzej pełnił funkcję koniuszego (w grudniu 1772 pozował Augustynowi Mirysowi do portretu). Dwa lata później powrócił do Warszawy, gdzie podjął (prawdopodobnie) pracę w jednym ze stołecznych urzędów. Wiosną 1775 roku otrzymał posadę kancelisty w Departamencie Sprawiedliwości Rady Nieustającej, a wkrótce potem nadano mu tytuł szambelana JKMci. W tym okresie bywał zapraszany na królewskie obiady czwartkowe, pisywał teksty dla „Zabaw Przyjemnych i Pożytecznych”. Wówczas to zaprzyjaźnił się z: S. Trembeckim, M. Czarnkiem, K. Ustrzyckim, P. Dufourem, a jednocześnie utrzymywał bliskie kontakty z rodem Potockich.
Jego kariera zachwiała się w listopadzie 1776 roku, gdy mając 21 lat opublikował anonimowo paszkwil pt „Portrety pięciu Elżbiet”, opisujący niekorzystnie hetmanową Izabellę Branicką (siostrę króla), Izabelę Czartoryską, marszałkową Izabelę Lubomirską, Elżbietę Potocką oraz Elżbietę Sapieżynę. Szybko ustalono, że autorem jest Tomasz Węgierski. Wpływowe kobiety czuły się obrażone, a samo dzieło zostało spalone publiczne na rynku przez kata.