Milner jest rekordzistą pod względem liczby występów w reprezentacji Anglii do lat 21, w której rozegrał ponad 40 spotkań. Zadebiutował w niej w roku 2004. W sierpniu 2009 roku zadebiutował w seniorskiej kadrze.
Dzieciństwo i początki kariery James Milner urodził się w Wortley jako syn Petera i Lesley. Wychowywał się w Horsforth w Leeds. Uczęszczał do szkoły podstawowej Westbrok Lane, gdzie grał w szkolnym zespole. Następnie uczył się w Horsforth School. Graeme Coulson, trener z Rawdon poznał talent Milnera i nakłonił go do gry dla Rawdon w kilku turniejach, między innymi w Rawdon Madows, gdzie w finałowym spotkaniu Anglik zdobył cztery bramki.
Milner w szkole był określany jako „uczeń pierwszej klasy”; opuścił ją z 11 GCSE oraz z nagrodą za dobre wyniki w sporcie. Pokazał również swój talent do krykieta, sprintów oraz biegów długodystansowych. Grał dla reprezentacji krykieta szkół z Yorkshire, trzy lata z rzędu był mistrzem szkoły w biegach przełajowych oraz mistrzem regionu w biegu na 100 metrów.
Milner lubił oglądać piłkę nożną, jak i grać w nią. Od dzieciństwa kibicował Leeds United. Rodzice Milnera posiadali bilety okresowe na mecze zespołu, a on sam był chłopcem od podawania piłek.