Hollander został wychowany jako chrześcijanin. Wykształcenie rodzinne miało charakter akademicki i muzyczny – jego dziadek Hans Hollander był muzykologiem, który napisał książki o kompozytorze Janáčku. Rodzice Hollandera byli nauczycielami, jego ojciec prowadził wydział nauk ścisłych w prestiżowej szkole w Oksfordzie. Uczęszczał do Dragon School, a następnie do Abingdon School, gdzie był głównym chórzystą. W młodości był członkiem Narodowego Teatru Młodzieży i Narodowego Młodzieżowego Teatru Muzycznego (wówczas znanego jako Dziecięcy Teatr Muzyczny). W 1981 roku, w wieku 14 lat, zdobył główną rolę w dramatyzacji BBC John Diamond Leona Garfielda. Był aktywnie zaangażowany w produkcje sceniczne jako członek Footlights i był prezesem Towarzystwa Marlowe. Sam Mendes, przyjaciel i kolega ze studiów, wyreżyserował kilka sztuk w których grał podczas ich pobytu w Cambridge, w tym w uznanej przez krytyków produkcji Cyrano de Bergerac (w której wystąpił także przyszły wicepremier Nick Clegg).