Po sezonie 1966/1967 Rupp odszedł z klubu.

Następnie został zawodnikiem Werderu Brema, z którym w sezonie 1967/1968 zdobył wicemistrzostwo Niemiec, a po sezonie 1968/1969 przeniósł się do FC Köln, z którym dwukrotnie dotarł do finału Pucharu Niemiec (1970, 1971) oraz do półfinału Pucharu Miast Targowych 1970/1971, w którym Kozły przegrały rywalizację z włoskim Juventusem Turyn (1:1, 0:2), natomiast w Pucharze Niemiec 1971/1972 ex aequo wraz z dwoma kolegami z klubu: Hannesem Löhrem i Wolfgangiem Overathem oraz z kapitanem Schalke Gelsenkirchen – Klausem Fischerem z 7 golami został królem strzelców tych rozgrywek.

Po sezonie 1971/1972 wrócił do Borussii Mönchengladbach, w której wraz z Juppem Heynckesem oraz Allanem Simonsenem tworzył trójstronny atak klubu oraz z którą w sezonie 1972/1973 odnosił największe sukcesy w karierze piłkarskiej: Puchar Niemiec 1972/1973 po wygranej w finale 2:1 po dogrywce z byłym klubem Ruppa – FC Köln, rozegranym 23 czerwca 1973 roku na Rheinstadion w Düsseldorfie, który przeszedł do annałów jako jeden z „najlepszych, najbardziej zabawnych i najbardziej ekscytujących w historii tych rozgrywek”, a także finał Pucharu UEFA 1972/1973, w którym Źrebaki przegrały rywalizację a angielskim FC Liverpoolem (0:3, 2:0). Po zdobyciu wicemistrzostwa Niemiec w sezonie 1973/1974 odszedł z klubu.