Pomimo że przed opuszczeniem kraju środowisko muzyczne i władze komunistyczne uznawały Panufnika za jednego z najwybitniejszych kompozytorów i dyrygentów, po wyjeździe był on persona non grata aż do 1977.
Panufnik przybył do Wielkiej Brytanii właściwie bez środków do życia i początkowo utrzymywał się z okazjonalnych występów dyrygenckich. Nieoceniona okazała się pomoc zaprzyjaźnionych kompozytorów jak Ralph Vaughan Williams czy Arthur Benjamin. Panufnik był niezwykle wzruszony ich zawodową solidarnością. Jego przyjaciel, pianista Witold Małcużyński, pomógł mu znaleźć finansowy patronat. W życiu prywatnym nie układało się najlepiej – żona oczekiwała życia towarzyskiego i rozrywek, natomiast Panufnik potrzebował spokoju, aby móc komponować.
Podczas wizyty w USA uczestniczył w wykonaniu swojej Symfonii pokoju dyrygowanej przez Leopolda Stokowskiego. To wydarzenie skłoniło Panufnika do przekomponowania utworu napisanego, w ocenie autora, pod przymusem. Odrzucił m.in. części chóralne i zmienił tytuł na Sinfonia elegiaca. Wykonanie zmienionego utworu pod dyrekcją Leopolda Stokowskiego okazało się sukcesem.