Historia powstania tego albumu dzieli się na dwa etapy. Pierwszy etap trwał do 1 maja, kiedy Dylan i Knopfler (producenci płyty) zakończyli jego nagrywanie. Płyta właściwie gotowa do wydania składała się z następujących utworów: Jokerman License to Kill Man of Peace Neighborhood Bully i na drugiej stronie: Don’t Fall Apart on Me Tonight Blind Willie McTell Sweetheart Like You I and I Foot of Pride
W pewnym momencie Dylan odczuł, że powinien wypełnić trochę brzmienie utworów, gdyż stało się za bardzo przewidywalne i postanowił przerobić partie wokalne. Usunął utwory „Blind Willie McTell” i „Foot of Pride” i mając do dyspozycji ok. piętnastu utworów, zastąpił je jednym, czterominutowym „Union Sundown”.
Oryginalny Infidels nagrany typową dla artysty metodą „na żywo”, wykazał, że mając taki zespół, jakim dysponował wtedy Dylan oraz 24-ścieżkowy system nagrywający, wszelkie ewentualne błędy były bardzo łatwe do zatuszowania, bez potrzeby restrukturyzacji całej płyty.