Na skutek pomyłki niemal spóźnił się na igrzyska, gdyż organizatorzy wyjazdu amerykańskich zawodników źle przeliczyli datę ich rozpoczęcia z obowiązującego w Grecji kalendarza juliańskiego.
Pierwszym finałem igrzysk, rozgrywanym w dniu otwarcia (6 kwietnia 1896 r.) był trójskok. Connolly zwyciężył w tej konkurencji rezultatem 13,71 m, pokonując następnego zawodnika Alexandre Tuffèriego o ponad metr. W ten sposób stał się pierwszym mistrzem nowożytnych igrzysk olimpijskich. W Atenach startował również w skoku wzwyż w którym zajął 2. miejsce ex aequo z Robertem Garrettem (zwyciężył Ellery Clark) oraz w skoku w dal, gdzie był trzeci za Clarkiem i Garrettem.
Jako jeden z nielicznych medalistów igrzysk w Atenach uzyskał dobre wyniki także na igrzyskach olimpijskich w 1900 r. w Paryżu, gdzie został wicemistrzem olimpijskim w trójskoku. Poprawił swój najlepszy wynik z Aten (osiągnął 13,97 m), ale przegrał o pół metra z Myerem Prinsteinem.
W 1898 r. był korespondentem wojennym na Kubie, gdzie toczyła się wojna hiszpańsko-amerykańska. Nie wystąpił na igrzyskach olimpijskich w 1904 w Saint Louis, ale był podczas nich sprawozdawcą sportowym.