Zasiadając w Izbie Gmin przyszły premier nosił tytuł grzecznościowy „lorda Stanleya”. W 1844 r. na podstawie Writ of Acceleration otrzymał jeden z tytułów ojca (barona Stanley of Bickerstaffe) i zasiadł w Izbie Lordów. W 1845 r. popadł z premierem w konflikt na tle walki o zniesienie ustaw zbożowych i zrezygnował ze stanowiska ministra. Po zniesieniu ustaw w 1846 r. doszło do rozłamu w Partii Konserwatywnej i Stanley stanął na czele większości konserwatystów, którzy wycofali swoje poparcie dla premiera Peela. W 1851 r. odziedziczył po śmierci ojca tytuł 14. hrabiego Derby.
Premier W 1852 r. Derby stanął na czele mniejszościowego gabinetu, znanego jako Who? Who? Ministry. Większość stanowisk zajęli w nim nieznani szerszemu gronu politycy. Tylko 3 z nich było członkami Tajnej Rady. Nazwa tego gabinetu wzięła się od tego, że stary książę Wellington, kiedy przedstawiano ministrów w Izbie Lordów, po wyczytaniu każdego nazwiska pytał sąsiadów Kto? Kto? („Who? Who?”). Gabinet powstał w lutym, ale nie zdołał zebrać parlamentarnej większości i upadł jeszcze w grudniu tego samego roku.