Bardzo uzdolniony, mając 21 lat w 1862 rozpoczął pracę w zespole Ludwiga von Förstersa (1797–1863). Po jego śmierci prowadził samodzielną pracownię architektoniczną projektując w duchu historyzmu w stylu neorenesansowym. Był także budowniczym realizującym projekty architektoniczne Heinricha von Förstera, Emila von Förstera i Theophila von Hansena. W latach 70. i 80. XIX wieku zrealizował szereg willi i budynków mieszkalnych w Wiedniu a także w innych miastach monarchii habsburskiej. Jego najważniejszym projektem z tego okresu jest synagoga w Budapeszcie (1871-1872). Uczestniczył wówczas w wielu konkurach architektonicznych, w tym organizowanych przez dwór cesarski.
Jest uważany za jednego z najważniejszych pionierów wczesnego modernizmu, zarówno jako autor licznych projektów architektonicznych, jak i tekstów teoretycznych. Jego odchodzenie od historyzmu rozpoczęło się już w latach 80. XIX wieku, kiedy zaczął stosować bardziej swobodne podejście do jego form a także konstrukcji budynków. M.in. w pierwszym znaczącym wybudowanych w latach 1882-1884 przez Wagnera budynku publicznym Österreichische Länderbank przy Hohenstaufengasse 3. zaaranżował pokoje w zgiętej osi – z okrągłym, szklanym dachem pełniącym funkcję zawiasu – i tym samym stworzył jeden z najbardziej innowacyjnych budynków biurowych swoich czasów.