Początkowo krytyka jego kompozycji, jako zbyt formalistycznych i nieprzystających do socrealizmu, odnosiła się do Nokturnu. Później także jego Sinfonia Rustica została zakazana, choć gremium, które o tym zadecydowało, wcześniej nagrodziło ten utwór w Konkursie kompozytorskim im. Fryderyka Chopina w Warszawie. Równocześnie Panufnik zdobywał coraz większe uznanie za granicą, za co komunistyczne władze uhonorowały go odznaczeniami państwowymi.
W 1950 Panufnik był członkiem polskiej delegacji w Związku Radzieckim, która miała poznać radzieckie metody dydaktyczne. Podczas tej wizyty spotkał się on m.in. z Dmitrijem Szostakowiczem i Aramem Chaczaturianem. Podczas jednej z rozmów z pomniejszymi kompozytorami naciskano na Panufnika, aby zdradził nad czym pracuje, wtedy niezobowiązująco wspomniał o pomyśle napisania Symfonii pokoju. Po powrocie kompozytor został przeniesiony w spokojne otoczenie, aby napisać swój utwór. Powstała wtedy trzyczęściowa symfonia zakończona słowami poety, a zarazem jego przyjaciela Jarosława Iwaszkiewicza.