Wprowadził do szkół oficerskich język polski, powołując się na uchwały parlamentu wiedeńskiego, które dopuszczały częściowe używanie języka polskiego w wojsku.
Zakończył służbę dla Cesarsko-Królewskiej armii austriackiej w bliżej nieznanych okolicznościach i nieznanym czasie. Kosk podał, że przeszedł do rezerwy w 1907, Bielski – że w 1912 przeszedł na emeryturę. Według Koska oficer J. Haller awansował w 1907 na stopień kapitana, tymczasem Bielski podał awans w 1909 i kolejny, w 1912, na majora. Niejasne są też przyczyny wystąpienia z armii. Sam Haller przyznał, że: Znana jest również jego wypowiedź z pamiętników:
Praca społeczna Po wystąpieniu z austriackiego wojska Haller na krótko poświęcił się pracy społecznej. Odegrał znaczącą rolę w stworzeniu polskiego harcerstwa i nadaniu mu wielu cech militarnych.
Od 1911 związał się z powstającym ruchem skautowym i Towarzystwem Gimnastycznym „Sokół”. Haller zajmował się tam m.in. militaryzacją „Sokoła”, a także spolszczeniem ruchu skautowego i przekształceniem go w harcerstwo.