Na tym stanowisku Gilmour brał udział w negocjacjach dotyczących zmniejszenia brytyjskich składek w EWG i przyznania niepodległości Zimbabwe.
Gilmour nie nawiązał dobrych relacji z premier Thatcher, co zaowocowało utratą stanowisk rządowych w 1981 r. W 1989 r. został wprawdzie wybrany przez szeregowych deputowanych jako potencjalny lider Konserwatystów, ale Gilmour, aż do emerytury, nie był aktywnym graczem na brytyjskiej scenie politycznej. W wyborach na lidera konserwatystów w 1990 r. poparł sir Anthony’ego Meyera, który przegrał jednak z Johnem Majorem. W 1992 r. Gilmour otrzymał dożywotni tytuł parowski barona Gilmour of Craigmillar. Od śmierci ojca w 1977 r. był również baronetem. Zmarł po krótkiej chorobie w 2007 r. Nowym baronetem został jego najstarszy syn, David.
Gilmour był politykiem proeuropejskim i przeciwnikiem działań rządu Margaret Thatcher. Wyraz swojemu niezadowoleniu z działań pani premier dawał wyraz w książkach (Dancing with Dogma, Whatever Happened to the Tories) i licznych artykułach, publikowanych m.in. w London Review of Books.