Służba w wojsku Arcyksiążę Franciszek Ferdynand w bardzo młodym wieku wstąpił do wojska. W 1877 został podporucznikiem w 32. węgierskim pułku piechoty dawnego księcia Modeny d’Este, który to pułk przeniesiono do Wiednia. W 1883 został porucznikiem (a następnie rotmistrzem) w górnoaustriacko-salzburskim 4 Pułku Dragonów im. arcyksięcia Albrechta w Enns. Następnie (od 1888) pełnił służbę jako major w Czeskim Pułku Piechoty Nr 102 im. barona von Catty w Pradze. W 1889 został mianowany podpułkownikiem i wyznaczony na stanowisko komendanta 3. batalionu. W następnym roku awansował na pułkownika i został przeniesiony do Pułku Huzarów Nr 9 im. hr. Nadasdy’ego w Sopronie (Ödenburg) na stanowisko komendanta pułku, jednak głównym celem tej nominacji miało być zaznajomienie arcyksięcia z Węgrami. 25 października 1892 został mianowany na stopień generała majora. Równocześnie otrzymał tytuł rosyjskiego generała majora. W 1894 został wyznaczony na stanowisko komendanta 38. Brygady Piechoty w Czeskich Budziejowicach należącej do 19 Dywizji Piechoty. W następnym roku został honorowym członkiem Cesarskiej Akademii Nauk w Wiedniu. 26 kwietnia 1896 został mianowany na stopień generalski Feldmarschalleutnanta. W latach 1898–1913 pozostawał w dyspozycji cesarza.