Robertowi udało się przywrócić władzę hrabiów nad tą częścią Flandrii, która została im pozostawiona po traktacie z Athis-sur-Ogne, zawartym 23 czerwca 1305 r. (był on ceną za wolność Roberta). Wkrótce jego pozycja umocniła się na tyle, że w kwietniu 1310 r. jego polityka przybrała jednoznacznie antyfrancuskie zabarwienie. Robert dążył do odzyskania miast, które na mocy traktatu z 1305 r. przypadły Francji (m.in. Lille, Béthune, Douai). W 1319 r. wyprawił się nawet zbrojnie na Lille, ale milicja z Gandawy odmówiła przekroczenia granicznej rzeki Leie. Przekonany przez swojego wnuka, Ludwika I de Nevers, Robert zrezygnował z walki i w 1320 r. podpisał w Paryżu traktat z królem Filipem V przywracający feudalne stosunki między królem a hrabią.
Hrabia Robert zmarł w 1322 r. Jego następcą został jego wnuk, Ludwik de Nevers. Zgodnie ze swoim życzeniem został pochowany w katedrze św. Marcina w Ieper. Jego ciało miało zostać przeniesione do opactwa Flines tylko wtedy, gdy Lille i Douai powrócą do hrabstwa Flandrii.
W 1265 r. Robert poślubił Blankę (1250 – lipiec 1269), córkę Karola I Andegaweńskiego, króla Sycylii, i Beatrycze, córki Rajmunda Berengara IV, hrabiego Prowansji. Robert i Blanka mieli razem jednego syna: Karol (zm. 1277), zaręczony z Izabelą, córką księcia Burgundii Hugona IV