8 listopada Alexander P. Stewart został mianowany generałem brygady. Przydzielono mu dowodzenie II brygadą, II dywizją, Dystryktu Columbus, z Departamentu Konfederacji nr 2 (poprzednik Departamentu Tennessee). Stewart zajmował to stanowisko od 16 listopada do grudnia, gdy jego brygada została przeniesiona do Departamentu Pierwszego Dywizji do lutego 1862. Następnie jego brygada została na krótko dołączona do dywizji Johna P. McCowna w Departamencie do 1 kwietnia 1862, gdy dołączyła do Armii Missisipi. Brygada Stewarta została włączona do I Korpusu Armii Mississippi, pozostającego pod dowództwem generała dywizji Leonidasa Polka.
Pod koniec 1862 roku Armia Missisipi została przemianowana na Armię Tennessee, a Stewart i jego brygada nadal służyli w I Korpusie tej armii. 2 czerwca 1863 roku został awansowany na dowódcę dywizji i do stopnia generała dywizji (Major General). Latem tego samego roku uczestniczył w kampanii tulluhomskiej. We wrześniu brał udział w walkach w bitwie pod Chickamaugą, gdzie 19 września został ranny w walce.