Przejął zespół po dziesiątej kolejce od Friedhelma Funkla, ale mając do dyspozycji słabych piłkarzy nie zdołał utrzymać zespołu w ekstraklasie, co w rezultacie przyczyniło się do tego, iż praca z popularnymi „Koziołkami” trwała zaledwie siedem miesięcy. Podczas swojej kadencji w tym zespole wygrał tylko cztery mecze, ale to właśnie dzięki niemu rozwinęły się talenty dwóch piłkarzy, którym dawał dużo szans, a mowa tu o Florianie Kringu czy Lukasie Podolskim. Ostatecznie FC Köln sezon zakończyło na ostatnim miejscu w tabeli, a Koller w czerwcu 2004 roku złożył dymisję.
Przez rok pozostawał bez pracy. W maju 2005 roku znalazł zatrudnienie w spadkowiczu Bundesligi VfL Bochum i został następcą zwolnionego Petera Neururera. Celem Kollera był szybki powrót do Bundesligi z Bochum, który został zrealizowany już pięć kolejek przed końcem sezonu. Po awansie do najwyższej klasy rozgrywkowej w Niemczech szwajcarski trener otrzymał kolejny cel - utrzymać się. Początek sezonu w wykonaniu Bochum był bardzo słaby i większość kibiców tego klubu żądała głowy Kollera. Dostał on jednak od działaczy wotum zaufania, co przełożyło się na późniejszą formę zespołu, bijąc na koniec sezonu rekord czterech wygranych z rzędu, co jest do dziś klubowym rekordem.