Ponownie ambasador i członek rządu Prezydent John F. Kennedy ponownie powołał Harrimana na stanowisko ambasadora do specjalnych poruczeń (zwanego też czasami lotnym ambasadorem). Jednakże szybko, bo w listopadzie 1961, został podsekretarzem stanu ds. wschodnich. Zaś w kwietniu 1963 podsekretarzem stanu ds. politycznych. Pod rządami Lyndona Johnsona, ponownie został ambasadorem.
Odegrał istotną rolę w puczu, który w 1963 obalił prezydenta Wietnamu południowego Diema.
Harriman został odznaczony prezydenckim Medalem Wolności w 1969 roku.
Podczas negocjacji pokojowych z Demokratyczną Republiką Wietnamu (DRW) pełnił rolą szefa negocjatorów w Paryżu.
Życie prywatne Był trzykrotnie żonaty. Pierwszą była Kitty Lanier Lawrence, która zmarła w 1936 roku. Drugą Marie Norton Whitney, która rozwiodła się ze swoim dotychczasowym mężem, Corneliusem Vanderbilt Whitneyem, by poślubić Harrimana. Trzeci związek małżeński, który trwał do jego śmierci, zawarł w 1971 z Pamelą Digby Churchill, byłą żoną syna Winstona Churchilla Randolpha.