Armia Po ukończeniu studiów Józef Haller został mianowany w c. k. armii podporucznikiem artylerii z dniem 1 września 1895. Od tego czasu służył w 11 pułku artylerii korpuśnej we Lwowie, a od około 1896 w szeregach 31 pułku artylerii dywizyjnej w Stanisławowie. W tym okresie został awansowany na stopień porucznika artylerii polowej z dniem 1 listopada 1899. Od około 1901 ponownie był oficerem 11 pułku artylerii korpuśnej we Lwowie.
Z macierzystej jednostki (przemianowanej na 11 pułk haubic) około 1907 jako oficer nadkompletowy został przydzielony do C. K. Obrony Krajowej. Służył kolejno od około 1908 w baterii armat nr 1/11 we Lwowie, a od około 1909 do około 1911 w dywizji haubic polowych nr 43 we Lwowie. W tym okresie został awansowany na stopień kapitana artylerii polowej i górskiej z dniem 1 listopada 1909.
W czasie służby wojskowej pełnił funkcję instruktora, a następnie komendanta w jednorocznej ochotniczej szkole oficerskiej artylerii. Przeprowadził reformę nauczania, usuwając zdemoralizowanych zawodowych oficerów ze stanowisk instruktorskich i zastępując ich ochotnikami.