Śródziemie Przybył do Śródziemia w Trzeciej Erze około roku 1000; w podobnym czasie przybyli też inni Mędrcy, co najmniej czterech: Curunir (Saruman), Aiwendil (Radagast) oraz Alatar i Pallando. Wysłali ich, za radą Eru, Władcy Zachodu, by służyli radą i pomocą tym, którzy sprzeciwiali się woli Saurona.
Wszyscy przypływali do Szarych Przystani, którymi władał Círdan. Rozpoznał on siłę i wytrwałość Olórina, dlatego wręczył mu, przechowywaną dotychczas przez niego, Naryę – jeden z Trzech Pierścieni. Tego daru zazdrościł mu Saruman.
Biała Rada Gandalf wcześniej niż inni zaczął podejrzewać, że ciemności wokół Dol Guldur mają związek z powracającym Sauronem. Udał się tam w roku 2063 TE, powodując jednocześnie wycofanie się złych sił. Mimo to Sauron wrócił (w 2460 TE) „z większymi siłami”. W odpowiedzi na to trzy lata później zwołano Białą Radę, której przewodniczącym został Saruman. Galadriela widziała w tej roli Gandalfa, on sam jednak odmówił objęcia tego urzędu, nie chcąc, by go krępował. Zwiększający się cień cały czas niepokoił Gandalfa, dlatego ponownie udał się do Dol Guldur w 2850 r. TE i odkrył, że jej panem jest sam Sauron. Wtedy też spotkał Thráina i otrzymał od niego klucz do Ereboru. Mimo to Rada nie zdecydowała się na atak, głównie za sprawą Sarumana.