Historia W 1882 obraz został za 850 funtów szterlingów kupiony przez melbourniańskiego lekarza, dr. Thomasa Fitzgeralda. Fitzgerald wypożyczył go do National Gallery of Victoria, co wywołało publiczny skandal. Szczególne oburzenie spowodował fakt, że „niemoralny” obraz mógł być oglądany w niedzielę. Po licznych protestach Kościoła prezbiteriańskiego i organizacji religijnej Sunday Observance League obraz zdjęto z galerii. W późniejszym czasie Fitzgerald zawiesił go u siebie w domu tak, że był on widoczny z ulicy, ale po kolejnych protestach został zmuszony do przeniesienia go do pokoju z tyłu domu.
W 1909, po śmierci Fitzgeralda, malowidło zakupił Henry Figsby Young. Żona Younga nie życzyła sobie, aby ten obraz wisiał u nich w domu i Young zawiesił go w swoim pubie Young and Jackson. Tym razem publiczne wystawienie Chloé nie wywołało już żadnych protestów i obraz stał się jednym z najbardziej znanych i popularnych w Melbourne.
W 1945 obraz został uszkodzony, gdy pijany żołnierz amerykański rzucił kuflem w Chloé, krzycząc, że jeżeli on jej nie może mieć, to nikt jej nie dostanie. Wynikła bójka między żołnierzami australijskimi i amerykańskimi rozlała się na pobliskie ulice i wzięło w niej udział przynajmniej kilkadziesiąt osób.