Wartości, które go ukształtowały, określiły także całą jego późniejszą działalność.
Ojciec Hallera brał udział w powstaniu styczniowym, dziadek ze strony matki był kapitanem Wojska Polskiego w dobie powstania listopadowego i kawalerem krzyża Virtuti Militari.
W 1882 rodzina Hallerów przeniosła się do Lwowa, gdzie młody Józef rozpoczął naukę w gimnazjum niemieckim. Po ukończeniu gimnazjum wstąpił do wojskowej Niższej Szkoły Realnej w Koszycach na Węgrzech (obecnie Słowacja), a następnie do prestiżowej Wyższej Szkoły Realnej w Hranicach (ówcześnie Mährisch Weißkirchen), do której uczęszczali także arcyksiążęta austriaccy. Po ich ukończeniu studiował na Akademii Technicznej w Wiedniu na wydziale artylerii.
W 1903 poślubił Aleksandrę Salę. Ich synem był Eryk Maria Haller (ur. 27 sierpnia 1906 we Lwowie, zm. 1984 w Perth), rotmistrz 14 pułku ułanów jazłowieckich, działacz Stronnictwa NarodowegoKurjer Poznański, R.32, nr 274 (20 czerwca 1937) – wyd. wieczorne, s. 6..