Nie interesował się wtedy rock and rollem.
Udzielał się w kilku małych zespołach z Epsom, pierwszym ważniejszym był zespół Neil Christian & The Crusaders, Jimmy rozstał się jednak szybko z grupą ze względu na zły stan zdrowia.
W tym samym czasie rozpoczął naukę malarstwa w szkole plastycznej, rezygnując z niej w 1963 roku, gdy podjął pracę jako muzyk sesyjny. W Londynie szybko zyskał na popularności – jego partie można odnaleźć na nagraniach m.in. The Who, Donovana, Them, The Kinks, czy The Rolling Stones. W czasie pracy w studio nagrał i wyprodukował swój własny singel „She Just Satisfies”. Zawarł też znajomość z Erikiem Claptonem.
Po odejściu Claptona z The Yardbirds w 1965 Page’owi proponowano dołączenie do grupy. Ten jednak polecił Yardbirdsom swego kolegę Jeffa Becka, by już w rok później (będąc zmęczonym rolą muzyka do wynajęcia) dołączyć ostatecznie do zespołu, którego ofertę wcześniej odrzucił, jako gitarzysta basowy.
Gdy grupa w 1968 rozpadła się, Jimmy wraz ze znanym studyjnym basistą Johnem Paulem Jonesem, wokalistą Robertem Plantem oraz perkusistą Johnem Bonhamem stworzył zespół, the New Yardbirds, nazwany ostatecznie Led Zeppelin.
Po rozpadzie Led Zeppelin thumb|Jimmy Page (1983) Po rozpadzie zespołu Led Zeppelin (spowodowanym śmiercią perkusisty) w 1980 roku Page rozpoczął karierę solową.