Mały arcyksiążę był dzieckiem krnąbrnym, upartym i zamkniętym w sobie. Nie lubił podporządkowywać się nakazom. Bardzo trudno było też zmusić go do jedzenia. W 1745 r. zachorował na ospę wietrzną, ale szczęśliwie wyzdrowiał. W 1747 r. poseł króla pruskiego Fryderyka II, Podewils, pisał o następcy tronu Austrii, Czech i Węgier: Józef jest dobrze zbudowany, jego niebieskie oczy są całkiem podobne do oczu matki; poza tym jest podobny raczej do ojca. Jego spojrzenie jest śmiałe i ma on lekceważący sposób bycia.
Wkrótce mały Józef otrzymał swój pierwszy dwór. W jego skład weszli markiz Poal, hrabia Salm, hrabia Starhemberg, hrabia Saurau, hrabia Harrach i hrabia Goess. 30 marca 1752 r., razem ze swoją starszą siostrą Marią Anną, otrzymał Pierwszą Komunię Świętą w kościele augustianów w Wiedniu. Udzielający komunii nuncjusz papieski podczas uroczystości upuścił hostię, co odczytano jako zły znak. 25 lipca 1753 r. arcyksiążę został bierzmowany. 2 listopada 1755 r. w imieniu króla Portugalii Józefa I trzymał do chrztu swoją siostrę Marię Antoninę. W 1756 r. ponownie zachorował na ospę.