Na igrzyskach olimpijskich w 1900 w Paryżu Prinstein zdobył złoty medal w trójskoku, pokonując obrońcę tytułu Jamesa Connolly’ego. W skoku w dal złoty medal zdobył w niecodziennych okolicznościach Alvin Kraenzlein. Finał konkursu był rozgrywany w niedzielę. W eliminacjach, które miały miejsce poprzedniego dnia, najlepszy wynik uzyskał Prinstein. Wyniki z eliminacji były zaliczane do ostatecznej klasyfikacji. Kraenzlein i Prinstein zawarli dżentelmeńską umowę, że nie wystąpią w niedzielę z powodów religijnych. Kraenzlein jednak wystartował i uzyskał wynik lepszy od eliminacyjnego rezultatu Prinsteina o 1 centymetr. Podobno zirytowany Prinstein uderzył Kraenzleina z tego powodu.
Na igrzyskach olimpijskich w 1904 w Saint Louis Prinstein zwyciężył zarówno w skoku w dal, jak i w trójskoku. Był to jedyny do tej pory przypadek takiego zwycięstwa na igrzyskach olimpijskich. Zajął na tych igrzyskach także 5. miejsca w biegu na 60 m i w biegu na 400 m, a w biegu na 100 m odpadł w eliminacjach. Na igrzyskach międzyolimpijskich w 1906 w Atenach zwyciężył w skoku w dal, w trójskoku zajął 11.