Józef miał z nią dwie córki zmarłe w dzieciństwie i darzył ją szczerą miłością, jednak nieodwzajemnioną. Izabela coraz bardziej pogrążała się w melancholii, a swoje uczucia przelała na siostrę Józefa, Marię Krystynę. Zmarła w 1763 r. Jej śmierć bardzo dotknęła Józefa. lewo|mały|277x277px|Herb wielki Józefa II Wkrótce za namową matki Józef ożenił się ponownie. 23 stycznia 1765 r. w pałacu Schönbrunn poślubił Marię Józefę Antoninę Wittelsbach (30 marca 1739 – 28 maja 1767), córkę elektora bawarskiego Karola Albrechta i Marii Amalii Habsburg, córki cesarza Józefa I. Małżeństwo to było nieudane. Józef przedzielił ścianą małżeńską sypialnię, a żonę lżył i obrażał. Kiedy matka usiłowała go nakłonić do napisania listu do żony, Józef odrzekł: Byłoby mi bardziej miłe i wprawiłoby mnie w mniejsze zakłopotanie, gdybym miał napisać do Wielkiego Mogoła.
thumb|Uczta koronacyjna Józefa II we Frankfurcie nad Menem Józef był naturalnym kandydatem na następcę swojego ojca na tronie niemieckim.