Zawody te przyniosły Berry'emu trzy złote medale - na obu dystansach indywidualnych stylem motylkowym oraz w sztafecie 4 × 110 jardów stylem zmiennym.
W 1963 Berry pozostawał niepokonany w kraju w stylu motylkowym, a także odbył podróż na serię zawodów do Europy. W tym samym roku został przyjęty na Indiana University, gdzie trafił pod opiekę słynnego trenera Doca Counsilmana. Na mistrzostwach USA musiał uznać wyższość Carla Robiego, który następnie odebrał mu rekordy świata w stylu motylkowym. W 1964 przystąpił do eliminacji kadry olimpijskiej w Australii. Trudności finansowe zmusiły go do dorabiania sobie na stacji benzynowej i w restauracji przy zmywaniu naczyń, ale ponownie wykazał się dobrą dyspozycją, która pozwoliła mu uzyskać rekordy świata na 100 i 200 m stylem motylkowym. Przed samymi zawodami olimpijskimi w Tokio wydawał się być w gorszej formie, szczególnie wobec wyników Robiego, który w eliminacjach i półfinale dwukrotnie poprawiał rekord olimpijski na 200 m motylkiem. W wyścigu finałowym Berry jednak ponownie pobił rekord świata i zdobył tytuł mistrzowski. Do tego trofeum dołożył jeszcze w Tokio brąz w sztafecie 4 × 100 stylem zmiennym, startując razem z Peterem Reynoldsem, Ianem O’Brienem i Davidem Dicksonem.