Pozostał na tym stanowisku do wyborczej porażki laburzystów w 1979 r.

Wobec narastającego eurosceptycyzmu w Partii Pracy i zdominowania jej przez skrajną lewicę pod przywództwem Tony’ego Benna, Rodgers oraz trzech innych deputowanych (Roy Jenkins, David Owen i Shirley Williams) założyli w 1981 r. Partię Socjaldemokratyczną. Następnie prowadził negocjacje dotyczące koalicji z Partią Liberalną. W wyborach 1983 r. koalicja uzyskała 25% głosów, ale przełożyło się to na zaledwie 23 mandaty parlamentarne. Rodgers przegrał wybory w swoim okręgu i na kilka lat znalazł się na marginesie życia politycznego kraju.

W 1987 r. podjął nieudaną próbę powrotu do Izby Gmin, startując wyborach w okręgu Milton Keynes. W tym samym roku stał na czele kampanii „Yes to Unity”, która doprowadziła do połączenia się SDP z Partią Liberalną. Podczas przerwy w aktywności politycznej Rodgers był dyrektorem generalnym Królewskiego Instytutu Brytyjskich Architektów oraz przewodniczącym Agencji Standardów Reklamowych.

Do parlamentu powrócił dopiero w 1992 jako par dożywotni baron Rodgers of Quarry Bank zasiadł w Izbie Lordów. W 1994 został rzecznikiem Liberalnych Demokratów w Izbie Lordów ds. wewnętrznych. W latach 1997–2001 był liderem swojej partii w Izbie Lordów.