Kompozycja Początek piosenki jest taki sam, jak "Empty Spaces", ale w oryginalnym kluczu d-moll. To powolny, mroczny progres z powtarzającym się elektronicznym perkusyjnym beatem i solową gitarą, ale gdzie kończy się "Empty Spaces" i przechodzi w "Young Lust", "What Shall We Do Now?" przechodzi w drugą, głośniejszą sekcję z akordami mocy gitary. Przejście D-E-F-E jest powtarzającym się motywem w całym albumie, słyszanym w "In the Flesh?", "In the Flesh", "Waiting for the Worms" oraz trzech częściach "Another Brick in the Wall". Długie zwrotki grane są z akordami d-moll i a-moll, gdzie główny bohater płyty Pink stawia pytanie, jak powinien wypełnić luki w jego ścianie.
Wersja filmowa Piosenka została przedstawiona w filmowej wersji The Wall, w połączeniu z animowaną sekwencją Geralda Scarfe'a. Animacja - opisana przez Rogera Watersa w komentarzu DVD jako "Pieprzone kwiaty!" - zaczyna się od zdjęcia dwóch kwiatów, które pieszczą się nawzajem. Zsynchronizowane z muzyką, kwiaty mają zarówno płeć (przybierając kształt ludzkiej pary), jak i męski kwiat w pewnym momencie ma kształt penisa, a ostateczna postać żeńskiego kwiatu jest z pochwy, po walce, a docelowo kończy się na "żeńskim" kwiecie, trawiącym i niszczącym "męski" kwiat.