W lutym 1961 Paret ponownie przegrał z Ortegą, a 1 kwietnia w Miami Beach stracił mistrzostwo świata, gdy Emile Griffith znokautował go w 13. rundzie. W walce rewanżowej 30 września 1961 w Nowym Jorku Paret zwyciężył Griffitha na punkty i odzyskał mistrzostwo. Następnie próbował zdobyć tytuł mistrza świata organizacji NBA w wadze średniej, ale 9 grudnia 1961 w Las Vegas obrońca tytułu Gene Fullmer znokautował go w 10. rundzie.
Swą ostatnią walkę Paret stoczył 24 marca 1962 w Madison Square Garden w Nowym Jorku z Emile Griffithem. Stawką było mistrzostwo świata w wadze półśredniej. Podobno podczas ważenia rywali Paret obraził Griffitha nazywając go maricón, co po hiszpańsku jest wulgarnym określeniem osoby homoseksualnej (Griffith w istocie był biseksualny). Walka była transmitowana na żywo przez telewizję. W 6. rundzie Paret powalił Griffitha, ale ten podniósł się w wymaganym czasie. Po 11 rundach Griffith prowadził na punkty. W 12. rundzie zapędził Pareta do narożnika. Tam Paret otrzymał wiele ciężkich ciosów, stojąc oparty o liny, a potem na nich zwisając, zanim arbiter Ruby Goldstein przerwał walkę i odciągnął Griffitha od niego. Paret nieprzytomny osunął się na ring i został wyniesiony z sali.