Działania lorda Castlereagha spotykały się z nieufnością czołowych brytyjskich polityków i samego króla Jerzego III, gdyż Stewart, w zamian za poparcie projektu unii, obiecał irlandzkim katolikom uzyskanie praw wyborczych. Kiedy ten fakt wyszedł na jaw, król Jerzy, chcąc zablokować ten pomysł, powołał na stanowisko premiera Henry’ego Addingtona, przeciwnika równouprawnienia katolików. Addington zastąpił Williama Pitta Młodszego, który wspierał emancypacyjne dążenia Castlereagha. Ten ostatni, w ramach protestu, zrezygnował ze stanowiska Głównego Sekretarza Irlandii.
Działalność w dyplomacji Kiedy spory o równouprawnienie katolików przycichły, Castlereagh wrócił do gabinetu, obejmując stanowisko przewodniczącego Rady Kontroli. Kiedy w 1804 na stanowisko premiera powrócił Pitt Młodszy, Castlereagh został mianowany ministrem wojny i kolonii. W styczniu 1806 uzyskał mandat z okręgu Boroughbridge, ale jeszcze w tym samym roku zmienił okręg na Plympton Erle. Po śmierci Pitta (1806) na rok wycofał się z polityki, po czym ponownie objął stanowisko ministra wojny i kolonii w gabinecie księcia Portland.