Działaniom Childersa opinia publiczna przypisała winę za zatonięcie HMS Captain, który zatonął we wrześniu 1870 r. z powodu wad konstrukcyjnychNa tym statku zginął syn Childersa, Leonard.. Childers próbował się bronić i obciążał winą trzeciego lorda i kontrolera floty, sir Roberta Robinsona. Ostatecznie jednak w marcu 1871 r. podał się do dymisji z powodu złego stanu zdrowia.
Po rezygnacji wyjechał na kontynent europejski, ale powrócił po kilku miesiącach i w 1872 r. został Kanclerzem Księstwa Lancaster i Paymaster-General. Pozostał na tych stanowiskach do 1873 r. Po powrocie Partii Liberalnej do władzy w 1880 r. został ministrem wojny. Prowadził na tym stanowisku politykę cięć w wydatkach na utrzymanie armii, co wzbudzało liczne kontrowersje, jako że w tym czasie Wielka Brytania toczyła I wojnę burską, a w 1882 r. dokonała inwazji na Egipt. W 1881 r. przeprowadził reformę armii, zmieniając organizację pułków piechoty oraz ujednolicając umundurowanie.