Pod koniec października 2013 roku Sheeran wystąpił podczas trzech koncertów w Madison Square Garden, czym zakończył swoją dwuipółletnią trasę koncertową, by skupić się na nagrywaniu nowego materiału.
W zakulisowych materiałach filmowych z trasy koncertowej Sheeran potwierdził nawiązanie współpracy nad nową płytą z Rickiem Rubinem i Pharrellem Williamsem. Premiera płyty zaplanowana była na 17 lutego 2014 roku, jednak piosenkarz zdecydował się ponownie przesunąć datę wydania z powodu propozycji dwumiesięcznej pracy z Rubinem, która wpłynęła na ostateczne opóźnienie. Po napisaniu „tysiąca” piosenek, Sheeran zdecydował się na nagranie piętnastu z nich, w tym singla „I See Fire”, który znalazł się na oficjalnej ścieżce dźwiękowej do filmu Hobbit: Pustkowie Smauga. W tym czasie Sheeran przyznał, że początkowo chciał nagrać „kolejny akustyczny materiał”, jednak w trakcie współpracy z Rubinem oraz Bennym Blanco zmienił on brzmienie na „neo-soul-funkowy”, co spowodowało ponowne nagranie całej płyty. Po zakończeniu pracy z Rubinem oraz nawiązaniu kontaktów z innym producentem Sheeran napisał dwie kolejne piosenki – „I'm a Mess” i „Thinking Out Loud”, które opowiadały o jego ówczesnej dziewczynie.