W latach 1968–1971 jego ugrupowanie pozostawało w opozycji, Jens Otto Krag działał na rzecz przystąpienia Danii do Europejskiej Wspólnoty Gospodarczej. W 1971 pełnił funkcję przewodniczącego Rady Nordyckiej. 11 października 1971 ponownie został premierem Danii, którym był do 5 października 1972. Podał się dość niespodziewanie do dymisji wkrótce po udanym referendum akcesyjnym, w którym Duńczycy opowiedzieli się za przystąpieniem do EWG. Na swojego następcę wskazał Ankera Jørgensena.
Dalsza działalność Po zakończeniu kadencji premiera odszedł z polityki, po czym był wykładowcą Uniwersytetu w Aarhus. W latach 1974–1975 kierował przedstawicielstwem Komisji Europejskiej w USA, a następnie wrócił do Danii, gdzie redagował gazetę.
Zmarł 22 czerwca 1978 na zawał serca, którego doznał w swoim domu letniskowym niedługo po przybyciu na osiemnaste urodziny syna. Został pochowany na Vestre Kirkegård w Kopenhadze.
Życie prywatne Był dwukrotnie żonaty. Pierwszy związek małżeński zawarł 26 maja 1950 we Frederiksbergu ze szwedzką aktorką Birgit Tengroth (1915–1983), z którą rozwiódł się w 1952. 31 lipca 1959 we francuskim Roquebrune-Cap-Martin poślubił duńską aktorkę Helle Virkner (1925–2009), z którą rozwiódł się w 1973. Z drugą żoną miał dwoje dzieci: syna Jensa Christiana (ur. 1960) i córkę Astrid Helene (ur. 1962).