Potem uczył w szkołach w Kalifornii.
W 1960 rodzina Whartona przeniosła się do Europy, chcąc uchronić dzieci przed zgubnym wpływem amerykańskiej popkultury, a zwłaszcza telewizji. Przez lata mieszkał w Paryżu, utrzymując się z malowania obrazów oraz wynajmowania remontowanych przez siebie mieszkań w paryskich kamienicach. Wydarzenia te opisał w powieściach Spóźnieni kochankowie oraz Werniks.
W latach 60. domem rodziny Whartonów stała się barka mieszkalna na Sekwanie, a od lat 70. także stary młyn w Burgundii. Te wydarzenia z kolei znalazły swe odbicie w książkach Dom na Sekwanie oraz Opowieści z Moulin du Bruit i Wieści. Poza tym rodzina du Aime mieszkała przejściowo w południowych Niemczech, Włoszech i Hiszpanii; niekiedy wracali do Stanów Zjednoczonych.
W 1988 córka, zięć i dwoje wnucząt pisarza zginęli w wypadku samochodowym podczas karambolu na autostradzie międzystanowej nr 5 w stanie Oregon, powstałego na skutek zadymienia spowodowanego wypalaniem pól. Sześć lat później Wharton napisał książkę o wypadku i o jego ofiarach (Niezawinione śmierci). Wtedy postanowił także walczyć o wstrzymanie tego powszechnego w USA procederu.