Latem 1989 Kaltz odszedł do francuskiego Girondins Bordeaux. Grał tam przez kilka miesięcy, a w listopadzie 1989 trafił innego francuskiego zespołu, FC Mulhouse. W 1990 ponownie został graczem Hamburgera SV. W 1991 zakończył karierę. Z 581 meczami zajmuje drugie miejsce pod względem występów w Bundeslidze (za Karlem-Heinzem Körbelem – 602 mecze).
Kariera reprezentacyjna W latach 1972–1973 Kaltz rozegrał 2 spotkania w reprezentacji RFN U-23. W seniorskiej kadrze RFN zadebiutował 3 września 1975 w meczu z Austriąwww.dfb.de..
W 1976 znalazł się w kadrze na mistrzostwa Europy. Nie zagrał jednak na nich ani razu, a zespół RFN zajął drugie miejsce w turnieju. 8 października 1977 w wygranym 2:1 pojedynku z Włochami strzelił pierwszego gola w drużynie narodowej.
W 1978 został powołany do kadry na mistrzostwa świata. Wystąpił na nich w spotkaniach z Polską (0:0), Meksykiem (6:0), Tunezją (0:0), Włochami (0:0), Holandią (2:2) i Austrią (2:3). Tamten mundial RFN zakończył na drugiej rundzie.
W 1980 ponownie wziął udział w mistrzostwach Europy. Zaliczył tam pojedynki z Czechosłowacją (0:0), Holandią (3:2), Grecją (0:0) i Francją (2:1). W meczu z Francją zdobył także bramkę. Kadra RFN wygrała ten turniej i zdobyła Mistrzostwo Europy.