1 kwietnia 1999 roku w meczu z Wuppertaler SV strzelił swojego jedynego gola dla tego klubu.
W 1999 roku został zawodnikiem 1. FC Kaiserslautern. Początkowo występował jedynie w rezerwach, a 1 lipca 2000 został włączony do składu pierwszej drużyny. 15 kwietnia 2000 roku w wygranym 1:0 meczu, 30. kolejki, z Eintrachtem Frankfurt, zadebiutował w Bundeslidze, zmieniając w 76. minucie spotkania Jörgena Petterssona. Pierwszego gola dla Kaisers strzelił już w następnym sezonie – 20 października 2000 roku kiedy to w 85. minucie ligowego meczu z Werderem Brema po asyście Jeffa Strassera ustalił wynik meczu na 2:0. W barwach Kaiserslautern, Klose rozegrał łącznie 147 meczów, w których strzelił 53 gole i zanotował 25 asyst.
1 lipca 2004 r. za ok. 5 mln euro został zawodnikiem Werderu Brema. 14 września 2004 w przegranym 0:2 meczu Werderu z Interem, zadebiutował w Lidze Mistrzów. W sezonie 2005/06 strzelając 25 goli został królem strzelców Bundesligi oraz zdobył z Werderem Puchar Ligi Niemieckiej. W 2006 roku został wybrany piłkarzem roku w Niemczech. W klubie z Bremy rozegrał łącznie 131 spotkań. Strzelił w nich 63 bramki i zanotował 47 asyst. Od 1 lipca 2007 do maja 2011 r.