Oprócz krykieta Lyttelton uprawiał również piłkę nożną, reprezentując Uniwersytet Cambridge oraz Old Etonians. W 1877 r. rozegrał swój jedyny mecz w reprezentacji narodowej przeciwko Szkocji. Strzelił wówczas jedną bramkę, ale Anglia uległa Szkotom 1:3.
Po ukończeniu studiów Lyttelton został prywatnym sekretarzem prokuratora generalnego sir Henry’ego Jamesa. W 1895 r. został wybrany do Izby Gmin jako reprezentant okręgu Warwick and Leamington. W 1900 r. został wysłany do południowej Afryki, jako przewodniczący komisji odbudowy kraju po II wojnie burskiej. W 1903 r. został ministrem kolonii. Utrzymał się na tym stanowisku do wyborczej porażki konserwatystów w 1905 r.
W wyborach 1906 r. uzyskał mandat z okręgu Westminster St George’s. W 1913 r., podczas pobytu w południowej Afryce zachorował. Po powrocie do Anglii zdiagnozowano u niego ropień żołądka. Operacja była nieudana i Lyttelton zmarł niedługo później.
Jego syn, Oliver, został politykiem Partii Konserwatywnej, ministrem kolonii i wicehrabią Chandos.
Bibliografia