Ukoronowaniem dominacji O’Briena w pchnięciu kulą były dwa tytuły mistrza olimpijskiego, po które sięgnął w Helsinkach (1952) i Melbourne (1956). W Rzymie (1960) musiał zadowolić się medalem srebrnym, za swoim rodakiem Billem Niederem (wicemistrzem cztery lata wcześniej), a w Tokio (1964) uplasował się tuż za podium na 4. miejscu. O stale rosnącym poziomie sportowym konkurencji świadczy fakt, że wynik uzyskany w 1952, dający mistrzostwo olimpijskie (17,41 m), cztery lata później nie wystarczałby już nawet do brązowego medalu; analogiczne zależności wynikają z porównania rezultatów z 1956 i 1960 oraz 1960 i 1964. Rekord życiowy O’Brien ustanowił u schyłku kariery w 1966, pchając kulę na 19,69 m. Amerykanin jest ponadto rekordzistą w „oburęcznym” pchnięciu kulą, uwzględniającym najlepsze wyniki uzyskane prawą i lewą ręką.