W 1975 wstąpił do Zjednoczonego Stronnictwa Ludowego. W 1989 został wybrany na posła z ramienia tej partii. W latach 1988–1990 był członkiem Rady Ochrony Pamięci Walk i Męczeństwa. W listopadzie 1989 został przewodniczącym rady naczelnej powstałego z przekształcenia ZSL Polskiego Stronnictwa Ludowego „Odrodzenie”, które 5 maja 1990 współtworzyło Polskie Stronnictwo Ludowe. W trakcie X kadencji pełnił funkcję przewodniczącego Klubu Poselskiego PSL i przewodniczącego Komisji Sprawiedliwości.
Od 1991 do 2015 Józef Zych był posłem reprezentującym to ugrupowanie. W Sejmie I i II kadencji zajmował stanowisko wicemarszałka (1991–1995), następnie do końca II kadencji niższej izby parlamentu pełnił funkcję marszałka. Jako jednocześnie przewodniczący Zgromadzenia Narodowego odpowiadał za proces przyjęcia Konstytucji RP. Od lipca 2004 do końca IV kadencji ponownie był wicemarszałkiem Sejmu. W jej trakcie zasiadał ponadto w Komisji Odpowiedzialności Konstytucyjnej, której był przewodniczącym. W październiku 2005 wykonywał obowiązki marszałka seniora Sejmu V kadencji. W wyborach parlamentarnych w 2007 po raz siódmy uzyskał mandat poselski, otrzymując w okręgu lubuskim 18 631 głosów. W wyborach w 2011 po raz ósmy z rzędu został posłem z listy PSL.