Pełnił funkcję w rządzie austriackim, będąc ministrem rolnictwa (30 grudnia 1867 – 15 marca 1870) w gabinecie Karla Auersperga, a następnie premierem (11 kwietnia 1870 – 4 lutego 1871). Z tego drugiego stanowiska ustąpił, nie zdoławszy skłonić Czechów do obesłania parlamentu. Był także szefem Ministerstwa Obrony Państwa (28 czerwca 1870 – 4 lutego 1871). W latach 1875–1883 Namiestnik Galicji. Jak go scharakteryzował Kazimierz Chłędowski: Po śmierci Gołuchowskiego wielkie było rozciekawienie, kto zostanie namiestnikiem; cesarz, który lubił pana Alfreda Potockiego, ufał jego lojalności i niewzruszonemu przywiązaniu do tronu na niego się zdecydował. Pan Alfred, od czasu kiedy przestał być ministrem prezydentem, zamieszkał w Łańcucie, nie mieszał się do polityki i z pewną arystokratyczną grandezzą przypatrywał się z boku wszystkiemu co się dzieje. Był on mimo niezbyt świetnych umysłowych zdolności, przecież jedną z najbardziej znaczących osobistości, jakie pamiętam w polskim społeczeństwie. Niezmierny takt, prawość charakteru, wrodzona dobroć i znajomość życia zastępowały u niego jakieś niezwykłe zdolności;