Od 1946 był członkiem FDP, a od 1954 przewodniczącym FDP w Nadrenii Północnej-Westfalii. Od 1956 dodatkowo członkiem zarządu federalnego. W tym samym roku Scheel należał do tzw. Młodych Turków (m.in. wraz z Erichem Mende, Willim Weyerem, Hansem Wolfgangem Rubinem oraz Wolfgangem Döringem), którzy zapoczątkowali zmianę partnera koalicyjnego FDP w Nadrenii Północnej-Westfalii z CDU na SPD i sprowokowali tym samym oddzielenie się grupy Eulera oraz powstanie krótkotrwałej Wolnej Partii Ludowej (niem. Freie Volkspartei). W 1968 został w końcu wybrany następcą Ericha Mende na stanowisku federalnego przewodniczącego FDP. Na początku lat 70. należał wraz z Wernerem Maihoferem i Karlem Hermannem Flachem do autorów tez freiburskich, nowego programu FDP. Wraz z wyborem na urząd prezydenta federalnego, w 1974 roku, zrezygnował ze wszystkich stanowisk partyjnych. Po zakończeniu kadencji został w 1979 mianowany honorowym przewodniczącym FDP.
Od 1968 był wiceprezesem Liberalnej Unii Światowej (poprzedniczki Liberalnej Międzynarodówki).
Poseł Od 1948 do 1950 był radnym w swoim mieście rodzinnym Solingen. Od 1950 do 1954 członek landtagu Nadrenii Północnej-Westfalii. W końcu w 1953 został posłem do Bundestagu, do którego należał aż do 27 czerwca 1974 roku.