Wychowanie następcy tronu powierzono jezuicie Ignazowi Höllerowi i augustianinowi . Program nauczania Józefa ułożył sekretarz Marii Teresy Bartenstein. Największy nacisk kładł on na naukę historii i prawa. Egzamin z prawa natury i prawa publicznego Józef zdał 23 lutego 1756 r. W przeciwieństwie do większości rodziny Józef nie grał na żadnym instrumencie, ale potrafił odczytać nuty.
Kolejnym wychowawcą Józefa został ochmistrz feldmarszałek hrabia Karl Joseph von Batthyány, który wychowywał następcę tronu jako żołnierza. Wskutek takiego wychowania Józef stał się arogancki i pozbawiony szacunku dla innych. Zaczął być uważany za egoistę i człowieka bez serca. Był sceptykiem, interesował się sprawami wojska i administracji. Interesował się nowymi prądami w życiu umysłowym Europy. Czytywał Woltera, Martiniego i Encyklopedystów. Podziwiał również Fryderyka II, a zarazem go nienawidził. Chciał zreformować Austrię w duchu pruskim, aby stworzyć monarchię, która rzuci wyzwanie państwu pruskiemu i pomści niepowodzenia odnoszone przez naddunajską monarchię w starciach z północnym sąsiadem. Józef nie miał jednak talentu wojskowego i zmysłu politycznego Fryderyka. Był biurokratą o żelaznej woli.