Kiedy zapewnił sukcesję swemu nieślubnemu synowi Wilhelmowi, w 1035 roku wyruszył na pielgrzymkę do Jerozolimy. Zgodnie z Gesta Normannorum Ducum podróżował drogą przez Konstantynopol, dotarł do Jerozolimy, i zmarł w drodze powrotnej 2 lipca 1035 roku w Nicei (współczesny İznik w zachodniej Turcji). Niektóre źródła upatrują przyczynę jego śmierci w otruciu i datują ją na 1 lipca lub 3 lipca. Jego syn Wilhelm, w wieku około ośmiu lat został jego następcą.
Według kronikarza Wilhelma z Malmesbury, ok. 1086 r. Wilhelm wysłał poselstwo do Konstantynopola i Nicei, które miało za zadanie przywieźć zwłoki jego ojca. Ciało księcia ekshumowano i ruszono w drogę powrotną. W Apulii doszła do orszaku wieść o śmierci Wilhelma podczas oblężenia Rouen. Wówczas posłowie zadecydowali o pochowaniu Roberta na ziemi włoskiej.
Żony i potomstwo Robert Wspaniały nie miał żony, miał natomiast liczne kochanki. Jedną z nich była Herleva, córka Fulberta, garbarza z Falaise. Podobno książę poznał ją, kiedy na brzegu rzeki prała ubrania i tam ją zgwałcił, a następnie zabrał do