Ambasador w Europie Kiedy prezydentem został James Madison, mianował Adamsa ministrem pełnomocnym w Rosji. Po przybyciu do Moskwy, nawiązał poprawne stosunki z carem Aleksandrem I. W 1811 roku Madison zaproponował przyszłemu prezydentowi godność sędziego Sądu Najwyższego, jednak ten odmówił. Wkrótce potem prezydent odwołał Adamsa z placówki dyplomatycznej w Moskwie, by powierzyć mu funkcję negocjatora pokoju gandawskiego, kończącego wojnę USA z Wielką Brytanią. Po udanych rozmowach został on skierowany do Londynu, by negocjować układ o przyjaźni i handlu z Anglikami, a następnie objąć funkcję posła amerykańskiego w Londynie. Rolę tę pełnił w latach 1815–1817.
Sekretarz stanu thumb|200px|Pieczęć Departamentu Stanu W 1817 powrócił do Stanów, aby we wrześniu objąć stanowisko sekretarza stanu USA w gabinecie Jamesa Monroego.
Jednym z pierwszych wyzwań, jakie musiał podjąć Adams, był spór z Hiszpanią o zachodnią granicę USA. Nowy sekretarz stanu prowadził wówczas negocjacje z hiszpańskim posłem w Waszyngtonie, Louisem de Onisem. Adams chciał, by przebiegała ona na granicy stanu Teksas, natomiast Hiszpanie postulowali, by znaczyła ją rzeka Rio Grande lub Kolorado.