W międzyczasie Cardwell kilkakrotnie zmieniał miejsca w parlamencie. W roku 1847 został wybrany z okręgu Liverpool. W roku 1852 przegrał wybory w Liverpoolu i w Ayrshire, ale uzyskał parlamentarne krzesło w okręgu Oxford. W roku 1858 stracił mandat z Oxfordu, ale po kolejnych, wkrótce przeprowadzonych wyborach, odzyskał go (pokonując Williama Makepeace’a Thackeraya).
Frakcja Peelitów została rozbita w końcówce lat 50 XIX w. Cardwell wstąpił do Partii Liberalnej w roku 1859, zostając od razu Głównym Sekretarzem Irlandii w gabinecie premiera Palmerstona. Nie spełniwszy się na tym stanowisku, przeniósł się na urząd Kanclerza Księstwa Lancaster. Po raz drugi za kadencji tego samego rządu zmienił posadę w roku 1864, gdy został ministrem kolonii. Utrzymał tekę ministra aż do odsunięcia liberałów od władzy w roku 1866.
Gdy Partia Liberalna odzyskała władzę po wyborach 1868, Cardwell został ministrem w rządzie Gladstone’a. Wówczas udało mu się osiągnąć szczyt kariery politycznej - został ministrem wojny. W czasie sześciu lat urzędowania przeprowadził reorganizację armii brytyjskiej, wprowadzając zawodowy stopień oficerski (zastąpił też awans przez kupno awansem za zasługi) i tworząc oddziały rezerwowe.