Następnie, już w cywilnym ubraniu, przekroczył wraz z rodziną granicę neutralnej Szwajcarii. Para cesarska żyła tam w bardzo trudnych warunkach materialnych, gdyż dobra państwowe, a później i prywatne Habsburgów zostały skonfiskowane przez władze młodej Republiki Niemieckiej Austrii. Na wygnaniu towarzyszył cesarzowi jego adiutant przyboczny, pułkownik Włodzimierz Ledóchowski.
W marcu i październiku 1921 Karol podjął dwie nieudane próby restauracji swojej władzy na Węgrzech, zakończone niepowodzeniem, przez działania Miklósa Horthyego.
Decyzją państw Ententy został wywieziony przez brytyjski krążownik HMS „Cardiff” na portugalską wyspę Maderę. Wraz z nim na wygnanie udała się jego żona, a później także dzieci. Wygnany cesarz zmarł na zapalenie płuc 1 kwietnia 1922 roku w Funchal w wieku niespełna 35 lat. Jego ostatnie słowa do żony brzmiały: Bardzo cię kocham, natomiast ostatnie wypowiedziane w życiu: Bądź wola Twoja. Tak, tak. Jak chcesz. Jezu!.