Śmierć Podczas epidemii ospy w 1711 roku, która zabiła Ludwika, Wielkiego Delfina i troje rodzeństwa przyszłego cesarza Franciszka I, Józef zaraził się ospą. Zmarł 17 kwietnia w pałacu Hofburg. Wcześniej obiecał żonie, że jeśli przeżyje, zaprzestanie romansów.
Cesarz został pochowany w Krypcie Kapucyńskiej w Wiedniu, miejscu spoczynku większości Habsburgów. Jego pogrzeb odbył się 20 kwietnia w grobowcu nr 35 w Krypcie Karola. Grobowiec został zaprojektowany przez Johanna Lucasa von Hildebrandta i ozdobiony obrazami przedstawiającymi bitwy z czasów wojny o sukcesję hiszpańską. Josefstadt (ósma dzielnica Wiednia) nosi imię Józefa.
Małżeństwo i dzieci 24 lutego 1699 roku poślubił w Wiedniu Wilhelminę Amalię Brunszwicką. Mieli troje dzieci, a ich jedyny syn zmarł na wodogłowie przed pierwszymi urodzinami. Józef miał pasję do romansów (żaden z nich nie zakończył się nieślubnym potomstwem) i zaraził się chorobą przenoszoną drogą płciową, prawdopodobnie kiła, którą przekazał swojej żonie, gdy starali się o nowego dziedzica. Ten incydent uczynił ją bezpłodną. Jego ojciec, który jeszcze żył w czasie tych wydarzeń, zmusił Józefa i jego brata Karola do podpisania Wzajemnego Paktu o Sukcesji, na mocy którego córki Józefa miałyby pierwszeństwo przed córkami Karola, w przypadku gdyby żadne z nich nie spłodziło syna.