W 1798 roku został francuskim ambasadorem w Austrii. Tam rozważał nawiązanie współpracy Francji ze Szwecją i Turcją, a nawet brał pod uwagę możliwość odzyskania przez Polskę niepodległości. Swoją działalność dyplomatyczną w Austrii zakończył po tym, gdy nakazał wywiesić trójkolorową flagę, symbol niepoważanej wówczas na świecie rewolucji francuskiej. Dzięki temu Bernadotte zyskał sympatię wśród republikanów, jednakże stracił stanowisko ambasadora. Po powrocie do Francji, w 1799 roku, został ministrem wojny.
Nie poparł zamachu stanu 18 brumaire’a (który miał miejsce 9 listopada 1799 roku) i przez pewien czas usiłował nawet zawiązać spisek wojskowy w celu obalenia władzy Napoleona Bonapartego jako Pierwszego Konsula. Ostatecznie, gdy w 1802 roku odkryto spisek Bernadotte, Napoleon rozważał skazanie go na wyrok śmierci. Nie doszło do tego dzięki wstawiennictwu starszego brata cesarza, Józefa Bonapartego, którego żona – Julia – była szwagierką Bernadottego.
18 maja 1804 został nominowany do stopnia marszałka, a rok później objął komendę nad I Korpusem Wielkiej Armii.