Jednocześnie był prymasem Królestwa Polskiego.

W Królestwie Polskim został senatorem i jako obrońca nierozerwalności małżeństwa przyczynił się w 1820 do upadku ministra oświecenia publicznego Stanisława Kostki Potockiego.

Biskup zdawał się tolerować na swym terenie szerokie wpływy wolnomularstwa. Wydaje się, że nawet w roku supresji zakonów skłonny był współpracować z władzami w sprawach skarg masonów na potępiających ich księży. W końcu jednak przywołał bullę Klemensa XII z 1738, zakazującą katolikom przynależności do masoneriiM. Deszczyńska, Biskup Wojciech Skarszewski a dymisja Stanisława Kostki Potockiego, [w:] „Kwartalnik Historyczny”, rocznik CVI nr 1, Warszawa 1999, s. 50–51..

Jego szczątki znajdują się w podziemiu archikatedry św. Jana Chrzciciela w Warszawie. W czasach II Rzeczypospolitej wśród lewicowej młodzieży przyjął się zwyczaj zostawiania na jego trumnie sznura szubienicznego.

Ordery i odznaczenia Order Świętego Stanisława (1787)Z. Dunin-Wilczyński, Order Św. Stanisława, Warszawa 2006, s. 254. Order Orła Białego (1791)Kawalerowie i statuty Orderu Orła Białego 1705–2008, 2008, s.