W liście do Henri Fantin-Latoura z 1861 Whistler opisał Hiffernan i niemożność jej namalowania, kiedy pracował nad obrazem Wapping: […] próbowałem nadać jej wyraz! Naprawdę, mój przyjacielu! Prawdziwy wyraz – gdybym tylko mógł opisać ci jej głowę – to są najpiękniejsze włosy, jakie kiedykolwiek widziałeś! czerwone, ale nie złote, czy koloru miedzianego – jak jakaś Wenecjanka we śnie! – skóra biała żółta lub złota, jak wolisz […]List Whistlera do Henri Fantin-Latoura, styczeń/czerwiec 1861:
Matka Whistlera oraz jej krewni nie byli szczęśliwi z powodu związku artysty z Hiffernan, ponieważ w ich oczach każda niezamężna kobieta będąca do dyspozycji artysty jako modelka – co jednocześnie w powszechnie przyjętym mniemaniu oznaczało pozowanie nago – była prostytutką. Z uwagi na to matka poprosiła syna, aby uposażył Joannę Hiffernan spadkiem jednej z ciotek, dając jej w ten sposób niezależność. Gdy w 1864 matka Whistlera przyjechała w odwiedziny do syna z Ameryki, Joanna Hiffernan wyprowadziła się z ich wspólnego mieszkania przy Lindsey Row w Londynie.