Po rezygnacji Harolda Wilsona w 1976 Mellish poparł kandydaturę Michaela Foota na lidera laburzystów, ale jego kandydat przegrał z Jamesem Callaghanem. Mellish wkrótce zrezygnował ze stanowisk rządowych. Po przejściu Partii Pracy do opozycji w 1979 Mellish sprzeciwiał się wzrastającym wpływom lewego skrzydła partii, co w końcu doprowadziło do decyzji o nieubieganiu się o reelekcję w kolejnych wyborach parlamentarnych. Równocześnie doszło do jego konfliktu z lokalnymi strukturami Partii Pracy dotyczącego następcy Mellisha. Sam deputowany popierał swojego stronnika Johna O’Gradyego, natomiast struktury partyjne poparły Petera Tatchella.
Kiedy stało się jasne, że to Tatchell zostanie laburzystowskim kandydatem w wyborach 1983, Mellish ogłosił wystąpienie z Partii Pracy. W listopadzie zrezygnował z miejsca w Izbie Gmin. W wyborach uzupełniających w 1983 popierał O’Gradyego, który nie uzyskał jednak mandatu. Przegrał również Tatchell, a nowym deputowanym z Bermondsey został liberał Simon Hughes. Mellish wstąpił następnie do Partii Socjaldemokratycznej. W 1985 został kreowany parem dożywotnim jako baron Mellish i zasiadł w Izbie Lordów.