Po powrocie z USA został w tym samym roku mianowany przez prezesa , , inspektorem prowincjonalnym (prov. k. Staatseisenbahn-Inspektor) ds. planowania i budowy kolei południowej Wiedeń–Triest w nowo utworzonej Dyrekcji Generalnej Cesarsko-Królewskich Kolei Państwowych z na czele. W 1844 ukończył odcinek Mürzzuschlag–Graz i otrzymał tytuł radcy dworu.
Wyzwaniem było poprowadzenie linii z Mürzzuschlag dalej na północny wschód do Gloggnitz przez przełęcz Semmering na wysokości 984 m n.p.m. Von Ghega opracował projekt linii po przestudiowaniu 39 linii kolejowych w Stanach Zjednoczonych i sporządzeniu szczegółowych map terenów wokół przełęczy. Aby sporządzić odpowiednio dokładne mapy von Ghega wynalazł nowe instrumenty pomiarowe. Wytyczył kilka alternatywnych linii, po czym wybrał jedną, której budowa nie wymagała zbyt wielu tuneli. Plan von Ghegi został ukończony w 1847 roku i zakładał budowę linii o długości 42 km, z 22 większymi mostami i wiaduktami oraz tunelem o długości 1200 m. Projekt został zaakceptowany do realizacji przez austriackiego ministra robót publicznych w czerwcu 1848 roku, pomimo protestów prasy i inżynierów. Prace rozpoczęto w sierpniu 1848 roku – linia została podzielona na 14 odcinków, których budowę powierzono 14 różnym firmom.