Dążył do podjęcia radykalnych kroków przeciwko socjaldemokracji oraz zastąpienia władz lokalnych komisarzami rządowymi. W lutym 1934 r. jego rozkaz rozbrojenia lewicowej organizacji paramilitarnej Republikanischer Schutzbund doprowadził do wybuchu powstania, które zostało krwawo stłumione przy dużym udziale Feya. Wkrótce potem, w maju 1934 r. stracił fotel wicekanclerza na rzecz swojego rywala z Heimwehry, Ernsta Stahremberga, a w lipcu tego roku także stanowisko ministra bezpieczeństwa publicznego (pozostał w rządzie jako minister bez teki).
Nie jest jasna jego rola podczas nieudanego puczu 25 lipca 1934 r., gdy był zamknięty w urzędzie kanclerskim z Dollfussem, śmiertelnie rannym podczas zamachu. Po zdarzeniu zarzucono mu oficjalnie jedynie zbyt późne przekazanie informacji o zdobytych planach ataku na urząd kanclerski, aby nie ukazywać potencjalnego uwikłania członka rządu w spisek. Fey otrzymał nawet fotel ministra bez teki w nowym rządzie Kurta Schuschnigga, ale już w 1935 r. został z niego usunięty, utrzymując stanowisko prezesa kolei państwowych. W 1936 r.