Koncepcja pokoju przyjęta przez Panufnika raczej nie była zgodna z oczekiwaniami władz i spotkała się z ich chłodną reakcją.

Podczas pisania Symfonii pokoju poznał Irlandkę Marie Elizabeth O’Mahoney (zwaną również Scarlett ze względu na podobieństwo – zarówno charakteru, jak i wyglądu – do Scarlett O’Hary z powieści Margaret Mitchell Przeminęło z wiatrem). Pomimo tego, że spędzała właśnie miesiąc miodowy ze swoim trzecim mężem, bardzo wówczas popularnym pisarzem Adolfem Rudnickim, rozpoczęła romans z PanufnikiemW swoich wspomnieniach Scarlett m.in. pominęła istnienie owego męża. Zob. Scarlett Panufnik Out of the City of Fear, London 1956.. Wkrótce okazało się, że jest chora na epilepsję. Mówiło się też, że była związana z brytyjskim wywiadem Danuta Gwizdalska, Ucieczka z państwa grozy, Ruch Muzyczny, lipiec 2014. Mimo przeciwności, pobrali się w 1951, a niedługo później urodziła się im córka Oonagh. Odtąd kompozytor musiał utrzymać rodzinę, co skłoniło go do komponowania muzyki filmowej. W jednym z filmów wykorzystał ponownie polską muzykę dawną, a następnie użył stworzony tam materiał w utworze Concerto in modo antico.