W tym okresie zaczął występować ze swoim zespołem muzycznym, który tworzyli basista Dee Murray i perkusista Niggel Olsson, z którymi w 1970 odbył trasę koncertową po Anglii. W marcu 1971 nagrał, a w październiku wydał album pt. Tumbleweed Connection, który dotarł do drugiego miejsca na liście UK Albums Chart. Po premierze płyty ponownie wyleciał do USA, gdzie supportował podczas koncertów Leona Russella i zespoły: The Byrds, Poco, The Kinks i Derek and the Dominos. Również w 1971 wydał jeszcze ścieżkę dźwiękową do filmu Friends, album koncertowy pt. 11-17-70 i album studyjny pt. Madman Across the Water. Ostatnie z wydawnictw promował singlami: „Tiny Dancer” (ballada dedykowana pierwszej żonie Taupina) i „Levon” oraz uzyskał za niego status podwójnej złotej płyty w USA, gdzie album dotarł do ósmego miejsca na liście Billboard 200. Również w 1971 zagrał serię koncertów w Japonii, Nowej Zelandii i Australii, a także odebrał swoją pierwszą w karierze nagrodę Grammy – za najlepszą muzykę filmową (Friends). thumb|John w Hamburgu, 1972 W styczniu 1972 w miejscowościach Château d’Hérouville i w Pontoise zrealizował nagrania do piątego albumu pt. Honky Château, który wydał trzy miesiące później.