Na tym stanowisku utrzymał się do 1809, kiedy to po fiasku ekspedycji lorda Chathama do Belgii i sporach z ministrem spraw zagranicznych, George’em Canningiem (z którym stoczył nawet pojedynek na pistolety), został zmuszony do rezygnacji.
W 1812 uzyskał mandat z okręgu Clitheroe, ale zdecydował się ponownie reprezentować okręg Down. W tym samym roku powrócił do rządu na stanowisko ministra spraw zagranicznych. Został także przewodniczącym Izby Gmin. Z ramienia Wielkiej Brytanii uczestniczył w podpisywaniu traktatu paryskiego w 1814 oraz brał udział w obradach kongresu wiedeńskiego, będąc jednym z współtwórców systemu kongresowego. System ten załamał się już po 10 latach, wskutek różnic między Zjednoczonym Królestwem, Austrią i Rosją, a także przez niewielkie poparcie dla tej idei w samej Wielkiej Brytanii.
Lord Castlereagh nie był dobrym mówcą, a jego polityka zagraniczna była niezrozumiała dla ówczesnego Anglika. Wbrew brytyjskiej tradycji politycznej, Castlereagh dążył do wzrostu zaangażowania Wielkiej Brytanii w sprawy kontynentu. Był jednak ceniony jako człowiek uczciwy i konsekwentny. Jego polityka wspierania konserwatyzmu na kontynencie nie jednała mu jednak sympatii na Wyspach, gdzie był bardzo niepopularny.