Wkrótce potem Stieltjes rozpoczął korespondencję z Charles’em Hermite’em, której nie przerwał do końca życia. Listy początkowo dotyczyły mechaniki nieba, ale wkrótce potem ich tematem stała się matematyka, a Stieltjes zaczął poświęcać swój czas pracy badawczej w tej dziedzinie i 1883 roku wystosował rezygnację z pracy w obserwatorium, a sam Van de Sande Bakhuyzen się do niej przychylił. Również Elizabeth Intveld, z którą Stieltjes ożenił się w maju tego samego roku, zachęcała go do porzucenia astronomii na rzecz matematyki. Od września do grudnia wykładał na Uniwersytecie Technicznym w Delfcie geometrię analityczną i wykreślną w zastępstwie za F. J. van den Berga. Pod koniec roku ostatecznie zrezygnował ze stanowiska w obserwatorium.
Praca naukowa Stieltjes pracował nad niemal wszystkimi dziedzinami analizy matematycznej, ułamkami łańcuchowymi i teorią liczb. Jego prace są także uznawane za poważny krok w stronę teorii przestrzeni Hilberta. Pozostały wkład w rozwój matematyki obejmował między innymi funkcje ciągłe i szeregi rozbieżne, równania różniczkowe, interpolację, funkcję Γ i