Wyniki sportowe Osburn trzykrotnie wystąpił na igrzyskach olimpijskich (IO 1912, IO 1920, IO 1924), startując w 16 konkurencjach. Podczas swych pierwszych igrzysk, Amerykanin zdobył cztery medale. Jedyne złoto wywalczył w drużynowym strzelaniu z karabinu wojskowego, ponadto osiągnął dwukrotnie drugie miejsca (karabin wojskowy w trzech pozycjach z 300 m, oraz karabin wojskowy w dowolnej pozycji z 600 m) i jednokrotnie trzecie miejsce (karabin małokalibrowy leżąc, 50 m, drużynowo).
Najbardziej udanymi igrzyskami w wykonaniu Osburna były zawody w Antwerpii w 1920. Zwyciężył tam czterokrotnie, ponadto raz był drugi i raz był trzeci. Trzy złote medale zdobył z drużyną (karabin dowolny w trzech pozycjach z 300 m, karabin wojskowy leżąc z 300 m, oraz karabin wojskowy leżąc z 300 i 600 m), indywidualnie złoto zdobył w karabinie wojskowym stojąc z 300 m. W drużynie sięgał jeszcze po srebro (karabin wojskowy stojąc z 300 m drużynowo) i brąz (runda pojedyncza do sylwetki jelenia drużynowo).
Ostatni medal olimpijski osiągnął na igrzyskach w Paryżu (1924), gdzie był drugi w karabinie dowolnym leżąc z 600 m. Jest rekordzistą pod względem zdobytych medali olimpijskich wśród strzelców sportowych (11).