27 lipca 1817 został mianowany c. k. podkomorzym Jego Ces. Kr. Apost. Mości (przyrzeczenie złożył 12 września 1817). Otrzymał też godność c. k. rzeczywistego tajnego radcy. W kraju koronnym Cesarstwa Austrii do śmierci był członkiem wydziału krajowego (Landesausschuss) w grupie dostojników krajowych (Landesawürde) ze stanu panów. Był także c. k. łowczym (Obristland-Jägermeister). Został odznaczony Krzyżem Komandorskim Orderu Świętego Stefana. Był członkiem C. K. Galicyjskiego Towarzystwa Gospodarskiego. Do końca życia hr. Skarbek był właścicielem majątków: Brzozdowce, Drohowyże, Opary, Ostałowice, Rożniatów, Smorze, Żabie. Łącznie na dobra ziemskie hr. Skarbka składało się trzy miasta i 29 wsi (według innego źródła 37).
Jego zawarte w 1814 małżeństwo z Zofią Jabłonowską zakończyło się rozwodem po kilku latach pożycia, po którym Zofia niezwłocznie poślubiła Aleksandra Fredrę. Zmarł 27 października 1848 w swoim mieszkaniu w założonym przez siebie teatrze we Lwowie. Pierwotnie został pochowany na Cmentarzu Łyczakowskim. Po niespełna 40 latach, 8 maja 1888 jego szczątki uroczyście przeniesiono do kaplicy w Drohowyżu. W listopadzie 1937 miało miejsce włamanie do grobowca rodzinnego S.