Zasiadał w Radzie Miejskiej Opladen (1948–1950), następnie był w latach 1949–1980 posłem do Bundestagu, gdzie stał na czele Klubu Poselskiego FDP (1949–1951; 1952–1953; 1957–1963).
W 1963 został mianowany wicekanclerzem i ministrem ds. wewnątrzniemieckich w rządzie Ludwiga Erharda (funkcje pełnił do 1966). Po zawarciu przez rząd Brandta tzw. traktatów wschodnich w 1970 przeszedł do frakcji CDU-CSU, następnie został członkiem CDU. Przez lata opowiadał się za rehabilitacją żołnierzy Wehrmachtu oraz niemieckich odznaczeń militarnych. Po odejściu z rządu pracował w Investors Overseas Services (IOS), następnie w spółce Bonnfinanz.
Uhonorowany Krzyżem Żelaznym II i I Klasy (1939), Złotym Krzyżem Niemieckim (1942), Krzyżem Rycerskim Krzyża Żelaznego (1945), Wielkim Krzyżem Orderu Zasługi Republiki Federalnej Niemiec.
Był dwukrotnie żonaty, miał trzech synów i córkę. Najstarszy syn Walter Mende był burmistrzem Leverkusen z ramienia SPD (1994–1998).