Po upadku rządu Northa w 1782 r. premierem został wig, lord Rockingham. Pitt otrzymał wówczas stanowisko wiceskarbnika Irlandii, ale odmówił jego przyjęcia. Po śmierci Rockinghama, który zmarł po trzech miesiącach urzędowania, nowym premierem został lord Shelburne. Większość wigów, którzy wcześniej popierali rząd Rockinghama, teraz przeszła do opozycji. Wśród nich był m.in. Fox. Pitt pozostał jednak stronnikiem rządu i otrzymał w nim stanowisko kanclerza skarbu.
Fox, który stał się wówczas politycznym przeciwnikiem Pitta, zawiązał koalicję z lordem Northem i doprowadził do upadku gabinetu Shelburne’a. W 1783 r. król Jerzy III chciał mianować premierem Pitta, ale ten odmówił wiedząc, że nie zdoła zapewnić sobie poparcia Izby Gmin. Premierem został ostatecznie książę Portland, ale pierwsze skrzypce w nowym gabinecie grali Fox i North.
Pitt, który utracił stanowisko kanclerza skarbu, przeszedł w szeregi opozycji. Jako opozycjonista zgłaszał liczne postulaty reform, m.in. zniesienia „zgniłych okręgów”. To przyciągnęło do niego wielu proreformatorskich deputowanych, którzy uznali Pitta za swojego lidera.