W lutym 1801 r. został wysłany z poselstwem do Kopenhagi, a po powrocie otrzymał stanowiska sekretarza skarbu w rządzie Henry’ego Addingtona. Pozostał na tym stanowisku do upadku gabinetu w kwietniu 1804 r. W styczniu 1805 r., dzięki protekcji swojego przyjaciela księcia Cumberland, został Głównym Sekretarzem Irlandii w rządzie Pitta Młodszego, ale zrezygnował z tego stanowiska jeszcze we wrześniu. W Gabinecie Wszystkich Talentów w latach 1806–1807 był ponownie sekretarzem skarbu. Razem ze swoim protektorem, lordem Sidmouthem, opuścił gabinetu w marcu 1807 r., tuż przed jego upadkiem.
W tym czasie Vansittart zdobył w parlamencie reputację eksperta w sprawach finansowych. W 1809 r. zgłosił projekty oraz przeprowadził przez parlamentu 38 rezolucji w sprawach finansowych. W tym samym roku premier Spencer Perceval zaproponował mu stanowisko kanclerza skarbu w swoim gabinecie, ale Vansittart, kierując się lojalnością wobec lorda Sidmoutha, odmówił. W 1811 r. sprzeciwiał się wczesnemu przywróceniu zasady płatności gotówką. W 1812 r. otrzymał tekę kanclerza skarbu w gabinecie lorda Liverpoola.