Po ataku na Pearl Harbor, Japończycy rozpoczęli internowanie cudzoziemców z „międzynarodowej osady”. Latem 1942 internowano Ballarda wraz z rodzicami i młodszą siostrą w obozie Lunghua Civilian Assembly Center, gdzie spędził trzy lata, aż do końca II wojny światowej. Doświadczenia te posłużyły później za kanwę autobiograficznej powieści Imperium słońca, pisanej jednak ze sporą dozą licentia poetica (np. w powieści nie pojawiają się postacie rodziców bohatera).
Faktem, iż Ballard wystawiony był na okropności wojny w tak młodym wieku, kiedy formowała się jego wrażliwość, często tłumaczy się apokaliptyczny, pełen przemocy charakter znacznej części jego twórczości. Martin Amis napisał, że Imperium słońca „obrazuje to, co go [Ballarda] ukształtowało” Jednakże sam Ballard mówi o swych doświadczeniach w mniej kategoryczny sposób: „Nie sądzę, żeby ktoś mógł zaznać wojny i żeby nie zmieniła się przy tym na zawsze jego percepcja świata. Krzepiąca sceniczna dekoracja, jaką zapewnia nam codzienna podmiejska rzeczywistość zachodu, zostaje rozdarta, widać pokryte strzępami rusztowanie, potem dostrzegamy ukrytą prawdę, a to może być przerażającym doświadczeniem.” (Livingstone 1996) Ale też: „Mam – nie powiem, że szczęśliwe – nie nieprzyjemne wspomnienia z obozu.