W 1874 r. został wybrany do Izby Gmin jako reprezentant okręgu Hertford. W 1885 r. przeniósł się do okręgu Manchester East. Wiosną 1878 r. Balfour został prywatnym sekretarzem swojego wuja, lorda Salisbury’ego. Towarzyszył mu podczas obrad kongresu berlińskiego w 1878 r.
Po wyborach 1880 r. Balfour zrezygnował ze stanowiska sekretarza i skupił się na działalności parlamentarnej. Rychło stał się ważną figurą wśród młodszych konserwatywnych deputowanych. Razem z lordem Randolphem Churchillem, sir Henrym Wolffem i Johnem Gorsten tworzył tzw. „Partię Czterech”.
Kiedy po wyborach 1885 r. lord Salisbury objął stanowisko premiera, powierzył siostrzeńcowi stanowisko przewodniczącego Rady Samorządu Lokalnego. W 1886 r. został członkiem gabinetu jako minister ds. Szkocji. W 1887 r. został przeniesiony na stanowisko Głównego Sekretarza Irlandii. Na tym stanowisku dał się poznać jako zdecydowany przeciwnik wprowadzenia w Irlandii autonomii.
W 1891 r. Balfour został pierwszym lordem skarbu. Był ostatnią osobą, która sprawowała ten urząd nie będąc jednocześnie premierem. Pozostał na tym stanowisku do wyborczej porażki konserwatystów w 1892 r. Jego partia powróciła do władzy w 1895 r. i Balfour ponownie został pierwszym lordem skarbu. W 1899 r.