27 marca 1764, wskutek zabiegów rodziców, został wybrany na króla rzymskiego (czyli króla Niemiec, a zatem następcę tronu cesarskiego) przez elektorów, którymi byli: jego matka jako królowa Czech, król pruski Fryderyk II jako elektor brandenburski, książę saski Fryderyk August III, palatyn reński Karol Teodor, książę bawarski Maksymilian III Józef, król Wielkiej Brytanii Jerzy III jako książę hanowerski, arcybiskup Kolonii Maksymilian Fryderyk von Königsegg-Rothenfels, arcybiskup Moguncji Emmerich Josef von Briedbach i arcybiskup Trewiru . 18 sierpnia 1765 r., podczas uroczystości weselnych młodszego brata Józefa, arcyksięcia Piotra Leopolda, nagle zasłabł i zmarł cesarz Franciszek Lotaryński. W tym momencie Józef został cesarzem rzymskim, suwerenem Świętego Cesarstwa Rzymskiego. 23 września 1765 roku Maria Teresa mianowała syna współwładcą w Austrii, Czechach i na Węgrzech (od tej pory dzielił z matką jej tytuły i władzę, pozostając pod jej zwierzchnictwem). W 1766 r. został również naczelnym wodzem armii austriackiej.