Powstanie i nazwa zespołu Bret McKenzie i Jemaine Clement poznali się w 1996 roku na Uniwersytecie Wiktorii w Wellington, gdzie Bret studiował muzykę, a Jemaine film i teatr. Razem z trójką innych studentów, z którymi wynajmowali mieszkanie, utworzyli kabaret So, You’re a Man. Grupa nabierała rozgłosu występując w klubach komediowych w Wellington i Auckland oraz była zaproszona na Międzynarodowy Festiwal Komediowy w Melbourne. W 1998 Bret i Jemaine postanowili założyć zespół muzyczny. Istnieją dwie wersje tego, w jaki sposób powstała nazwa zespołu. Według pierwszej Bret miał sen, w którym zobaczył gitary Gibson lecące w kluczu, które przypominały samoloty Concorde lecące w tej formacjiFlight of the Conchords Tickets - Flight of the Conchords Spring Tour - In Wellington. Według drugiej teorii, Jemaine wchodząc do łazienki mieszkania, które wynajmowali zauważył nazwę sedesu - Concorde i zaproponował Conchord (łac. con - współ-, razem z + ang. chord - akord). Bret zasugerował Flight of the Conchords i tak już zostało.