25 sierpnia 1945 papież Pius XII mianował go wikariuszem apostolskim Guamu oraz biskupem tytularnym Ioppe. 18 września 1945 przyjął sakrę biskupią z rąk delegata apostolskiego w Stanach Zjednoczonych abpa Amleto Giovanniego Cicognaniego. Współkonsekratorami byli koadiutor biskupa Oklahoma City i Tulsy Eugene Joseph McGuinness oraz biskup Camden Bartholomew Joseph Eustace.
Na Guam przybył 23 października 1945. Wikariat apostolski Guamu był wówczas wyniszczony przez działania wojenne. Na wyspie przetrwały tylko trzy wymagające remontu kościoły. Bp Baumgartner budował świątynie na czele z katedrą w Hagåtñie. Otwierał również szkoły katolickie. Dbał o powołania kapłańskie z lokalnej społeczności. Rozwijał stowarzyszenie świeckich katolików, organizacje charytatywne oraz media katolickie.
Od 13 stycznia 1947 do 21 stycznia 1949 pełnił również funkcję administratora apostolskiego Okinawy i Wysp Południowych (tereny japońskie pod okupacją amerykańską). Jako ojciec soborowy wziął udział w soborze watykańskim II. 14 października 1965 wikariat apostolski Guamu został podniesiony do rangi diecezji. Tym samym bp Baumgartner został biskupem Hagåtñy.