Po bitwie pod South Mountain został awansowany na generała brygady. Walczył na Antietam pod dowództwem swojego kuzyna, gen. bryg. Fitzhugha Lee. Przewodził 3 brygadzie dywizji kawaleryjskiej Stuarta pod Fredericksburgiem oraz Chancellorsville. Został ranny pod Brandy Station, u zarania kampanii Gettysburskiej, a następnie schwytany przez siły Unii w Hickory Hill, podczas kuracji. Jako jeniec wojenny przebywał w stanie Nowy Jork do czasu powrotu do armii konfederackiej 25 lutego 1864 roku, kiedy to został wymieniony na gen. bryg. Neala Dowa. W kwietniu został awansowany na generała dywizji wraz z przydziałem dywizyjnym w korpusie kawaleryjskim, biorącym udział w działaniach podczas oblężenia Petersburga i odwrotu wojsk ojca podczas kampanii Appomattox. Poddał się wraz z nim w Appomattox Court House.
Kariera powojenna Po zakończeniu działań wojennych Lee powrócił na swoją plantację. Po śmierci matki w 1873 roku odziedziczył i przeniósł się do Ravensworth, liczącego 563 akry majątku w pobliżu dzisiejszego Springfield w hrabstwie Fairfax. W 1875 został wybrany do senatu stanu Wirginia, w którym zasiadał do 1878. W 1887 został wybrany do Izby Reprezentantów z ramienia demokratów, w której zasiadał do śmierci w 1891.