Wpływ na utwór miał również Ed Cassidy ze swoim utworem „It's All the Same”, nagranym z zespołem Spirit.
Riff gitarowy jest bardzo podobny do tego z utworu formacji Yardbirds – „I’m Not Talking”, oraz do „The Girl I Love She Got Long Black Wavy Hair”, z albumu Led Zeppelin BBC Sessions.
Solo perkusyjne Bonhama – modelowy pokaz jego gry – było często grane podczas koncertów Led Zeppelin od 1968 do 1977 r. W latach 1968–69 nosił nazwę „Pat's Delight” (odniesienie do żony Bonhama), w okresie 1969–1975 był to „Moby Dick”, a podczas amerykańskiej trasy koncertowej w 1977, nazywano go „Over the Top” – wówczas zaczynał się on riffem do „Out on the Tiles”, które później przechodziło w długie solo perkusyjne.
Ostateczny kształt instrumentalu – jaki znalazł się na drugiej płycie studyjnej Led Zeppelin – utwór uzyskał po tym, jak Page, wielokrotnie zastając Bonhama jamującego samotnie grającego w studio, nagrał fragmenty jego popisów, następnie zmontował wszystko w całość.
Na koncertach Przy wykonywaniu tego utworu nie brał udziału wokalista Robert Plant – podczas koncertów zapowiadał tylko Bonhama przed zagraniem utworu. Gitara i bas pomagały mu tylko na samym początku i samym końcu, gdzie pozostała część to wyłącznie solo Bonhama.