W lutym 1001 roku niezadowoleni Rzymianie zmusili papieża do ucieczki z miasta. Ponieważ cesarz Otton III zmarł na malarię 23 stycznia 1002 roku, nie zdążył pomóc Sylwestrowi i władzę nad Rzymem przejął Jan Krescencjusz. Jego rządy twardej ręki pozwoliły wprawdzie wrócić Sylwestrowi na Lateran, lecz nie pozwoliły mu podjąć dalszej reformy Kościoła.
Działalność naukowa Uznawany za najwybitniejszego matematyka X wieku, rozpowszechnił w chrześcijańskiej Europie cyfry arabskie oraz system dziesiętny. Charles Seife twierdził, że Sylwester II poznał cyfry arabskie w czasie podróży do Hiszpanii, ale była to wersja bez zera. Jako jeden z pierwszych uczonych europejskich zajmował się logiką formalną. Posługiwał się organami, liczydłem oraz globusami (ziemskim i niebieskim). Jest autorem traktatu De rationali et de ratione uti, w którym rozważa m.in. kwestię klasyfikacji nauk. Był też kolekcjonerem manuskryptów.
Ze względu na swoją rozległą matematyczną wiedzę, podejrzewany bywał o kontakty z siłami piekielnymi. Potrafił posługiwać się tzw. notami tyrońskimi oraz abakusem, co u niewykształconych ludzi wywoływało kontrowersje.