Hiffernan i Gustave Courbet thumb|240px|Gustave Courbet Sen, 1866, Petit Palais Whistler podziwiał Joannę Hiffernan, przede wszystkim za jej wygląd i rude włosy, dzięki którym zyskała przydomek fiery Jo („ognista Jo“). Na jego stosunek do Hiffernan nie mieli wpływu ani jego rodzina ani przyjaciele czy znajomi. Prawdopodobnie też kłótnia, w jaką Whistler wdał się w 1863 ze swoim francuskim kolegą-malarzem Alphonse’m Legros, miała związek z Hiffernan. W 1865 podczas pobytu w Trouville-sur-Mer, rodzinnej miejscowości swojego przyjaciela Gustave’a Courbeta, Whistler przedstawił mu Joannę Hiffernan. Courbet w tym samym roku namalował, w czterech wersjach, jej portret Jo, piękna Irlandka oraz szkic olejny Portret Jo.
W 1866, kiedy Whistler był w Valparaíso, zlecił Joannie Hiffernan sprzedaż swoich obrazów. Hiffernan nazywała się w tym czasie Pani Abbott, według drugiego imienia Whistlera. W tym samym roku Hiffernan pojechała do Paryża i pozowała Courbetowi jako jedna z modelek do erotycznego obrazu Sen przedstawiającego dwie nagie, śpiące kobiety. Prawdopodobnie miała romans z Courbetem.