Po powrocie z Valparaiso Whistler rozstał się, bez kłótni, z Hiffernan.
Losy Hiffernan po rozstaniu z Whistlerem thumb|James McNeill Whistler, Symfonia w bieli nr 2: dziewczynka w bieli, 1864, Tate Britain Joanna Hiffernan przebywała kilka lat w Londynie; utrzymywano, iż zajmowała się ona wówczas nieślubnym dzieckiem Whistlera, o którym jednak nic więcej nie wiadomo i które prawdopodobnie w ogóle nie istniało. Niezależnie od tego biograf Walter Greaves wspomina także o synu Whistlera o imieniu Harry, istnienie którego również nie jest potwierdzone w dokumentach. Syn Whistlera, Charles Hanson Whistler urodził się w 1870 ze związku z Louisą Fanny Hanson i mieszkał przez krótki okres z Joanną Hiffernan u jej siostry Bridget Agnes Hiffernan w domu przy Thistle Grove Lane w Londynie. Kiedy latem 1880 Whistler pojechał do Wenecji ze swoją ówczesną kochanką Maud Franklin, Joanna Hiffernan zajęła się raz jeszcze jego dzieckiem. W tym samym roku Whistler wysłał swojemu synowi list, w którym załączył pozdrowienia dla cioci JoList Whistlera do jego syna Charlesa Jamesa Whistlera Hansona, 2 maja 1880: .