Podczas wojny secesyjnej Knoxville było podzielone. Mimo tego, że miasto to jest położone w Tennessee, czyli jednym ze stanów Konfederacji, wielu jego mieszkańców wsparło Unię. Knoxville było okupowane przez siły Południa aż do 1863, kiedy to Północ weszła do niego praktycznie bez użycia siły. Konfederaci w listopadzie próbowali jeszcze raz oblegać miasto, jednak 29 listopada 1863 miała miejsce bitwa o Fort Sanders, jedno z kluczowych wydarzeń wojny secesyjnej w Tennessee. Pośpieszny szturm sił Południa na ten fort trwał zaledwie około 20 minut, jednak zginęło w nim ponad 800 atakujących żołnierzy (przy kilku zabitych obrońcach). Zmusiło to Konfederatów do wycofania się z Knoxville.
Po zakończeniu wojny, w Knoxville zaczął rozwijać się przemysł hutniczy i tekstylny. Ponadto Knoxville stało się węzłem komunikacyjnym pomiędzy małymi miasteczkami w południowych Appalachach i wielkimi fabrykami na wschodnim wybrzeżu. W mieście tym znajdowały się także złoża marmuru, który został użyty do budowy wielu budynków. Stąd Knoxville było kiedyś nazywane "The Marble City", czyli Marmurowe Miasto.