Patterson dwukrotnie jeszcze próbował odzyskać tytuł, ale pokonali go Muhammad Ali w 1965 i Jimmy Ellis w 1968. Karierę zakończył w 1972 roku, po kolejnej przegranej z Muhammadem Alim, z dorobkiem 55 zwycięstw, 1 remisu i 8 porażek. Oprócz Listona (2 ×), Alego (2 ×), Johanssona i Ellisa pokonali Pattersona także Joey Maxim (na początku kariery Floyda w 1954 r.) oraz Jerry Quarry.
Patterson był znany z walki fair. Był znakomitym technikiem, chociaż aż 40 walk rozstrzygnął przed czasem, co dowodzi bardzo mocnego ciosu. Wśród wybitnych pięściarzy pokonanych przez Pattersona znaleźli się Archie Moore, Pete Rademacher, Brian London, Ingemar Johansson, Eddie Machen, George Chuvalo, Henry Cooper i Oscar Bonavena.
Patterson był również znany jako the gentleman of boxing. Jego zachowanie poza ringiem było piękne i legendarne. Po odejściu z boksu pomagał bezdomnym i dzieciom, starał się je uchronić od rozpusty i innych negatywnych rzeczy, ucząc ich poprawnego życiaGuardian.co.uk: Floyd Patterson: Brave fighter who became the world's youngest heavyweight boxing champion (dostęp: 21.03.2008).
Cierpiał na encefalopatię bokserską.