Gdy w roku 1861 wybuchła wojna secesyjna rodzinny stan Smitha, Kentucky, stał się stanem granicznym. Po kilku miesiącach wahania Smith zjawił się w Richmond i zgłosił gotowość do służby w armii konfederackiej. 19 września otrzymał stopień generała-majora i został skierowany do Armii Północnej Wirginii. Uczestniczył − jako dowódca skrzydła − w bitwie pod Seven Pines w pobliżu Richmond w czasie kampanii półwyspowej.
31 maja 1862 roku, gdy gen. Joseph Johnston został rannyC. Hearn i in., s.98., Smith na krótko objął dowodzenie nad armią, ale nie był w stanie podjąć decyzji co do następnych kroków w bitwie, co skutkowało niepochlebną opinią prezydenta Konfederacji Jeffersona Davisa, jak również generała Roberta Lee, doradcy Davisa, więc już następnego dnia (1 czerwca) prezydent Davis zastąpił go Robertem Lee. 2 czerwca Smith rozchorował się i poprosił o zwolnienie na leczenie.
Wrócił pod koniec sierpnia i objął dowodzenie instalacjami obronnymi wokół Richmondu. W dniach 17-21 listopada 1862 roku zastępował konfederackiego sekretarza wojny.