Był władcą nieporadnym, pozwalał, by rządy w państwie sprawował jego brat Robert Stewart, książę Albany.
Zmarł w zamku Dundonald (Ayrshire) i spoczął w opactwie w Paisley (Renfrewshire). Podobno umarł z żalu po uwięzieniu jego młodszego syna Jakuba, późniejszego króla Szkocji, przez Henryka IV, króla Anglii.
Potomstwo Roberta i Annabelli Małgorzata – zwana Lady of Galloway (ur. ok. 1370, zm. ok. 1450) – żona Archibalda Douglasa, 4. earla Douglas (ur. 1370?, zm. 1424), z którym miała czworo dzieci, Elżbieta (ur. ok. 1372, zm. przed 1411) – żona sir Jakuba Douglasa, 1. lorda Dalkeith (zm. 1441; po nich dzieci), Dawid (ur. 24 października 1378, zm. 26 marca 1402) – książę Rothesay, od 1399 mąż Marjorie (zm. 1421), córki Archibalda Douglasa, 3. earla Douglas (bezdzietni), Maria lub Mariot (ur. 1380, zm. ok. 1460) – żona kolejno: Jerzego Douglasa, 13. earla Angus (zm. 1402/1405; po nich dzieci), sir Jakuba Kennedy’ego of Dunure (zm. 1408; po nich dzieci), od 1413 Wilhelma, 1. lorda Graham of Kincardine (zm. 1424;