Zakładając The Whitest Boy Alive Erlend Øye posiadał już spore doświadczenie muzyczne zdobyte w Norwegii oraz Anglii. Zasłynął przede wszystkim jako połowa norweskiego duetu akustycznego Kings of Convenience, który wydał cztery albumy: "Quiet Is the New Loud", "Versus " , "Riot on an Empty Street", " Declaration of Dependence " oraz jako gościnny wokalista na debiutanckim krążku Röyksopp: "Melody A.M.", gdzie zaśpiewał w dwóch utworach: "Remind Me" i "Poor Leno" a grupę okrzyknięto liderem tzw. New Acoustic Movement.
Początki grupy The Whitest Boy Alive sięgają 2003 roku, kiedy to Erlend Øye i Marcin Öz razem postanowili założyć taneczną formację elektroniczną. Muzycy poznali się w Berlinie, gdzie pochodzący z Torunia Marcin Öz (znany lepiej jako DJ Highfish) był wówczas rezydentem berlińskiego klubu WMF. Początkowo muzycy spotykali się regularnie w ustalonym miejscu i czasie programując muzykę na komputerze. Do tego duetu dołączyli z czasem dwaj Niemcy: Sebastian Maschat oraz Daniel Nentwig, wprowadzając żywe instrumenty do muzyki zespołu.