Był znany jako dość kiepski administrator, więc nie powierzono mu kontroli nad siłami zbrojnymi co zazwyczaj leżało w gestii gubernatora, lecz pozostawiono dowództwo gen. hr. Andreasowi Hadikowi, który już z początkiem lipca 1772 roku wkroczył do Galicji na czele wojsk austriackich. Pergen wielokrotnie się na to uskarżał w swych listach do Wiednia. Jako gubernator, Pergen był świadomy nieustannej potrzeby umacniania władzy Wiednia nad Galicją. Za największy problem uważał nieprzygotowanie szlachty na zmianę ustroju, która nadeszła wraz z rozbiorem: ...trudności zwiększają się jeszcze, jeżeli prawodawca kraju, przechodzącego od republikańskiego ustroju pod rząd monarchiczny, musi walczyć z zepsuciem obyczajów, z prywatą pozbawionej przywilejów oligarchii, a nawet z nikczemnością, zwłaszcza jeżeli pragnie, aby prawa odpowiadały życzeniom roztropnej albo uciśnionej części narodu... Pergen uważał poskromienie szlachty za fakt korzystny również dla samych Galicjan. Stwierdzał, że ludność odpocznie pod rządami austriackimi po pięciu latach panoszenia się Rosjan pacyfikujących region po pokonaniu Konfederacji Barskiej. Hrabia Pergen był rozsądnym namiestnikiem, lecz nie uchroniło go to przed oddaniem (na skutek nacisków Józefa II i Kaunitza), stanowiska hr.