W 1931 r. zrezygnował z przewodzenia konserwatystom w Izbie Lordów. Sprzeciwiał się wprowadzeniu w Indiach zasady Home rule i wspierał działania prowadzone przeciwko ustawie w Izbie Gmin przez Winstona Churchilla. W 1937 r. był Lordem Wielkim Stewardem podczas koronacji Jerzego VI.
W 1917 r. został kawalerem Orderu Podwiązki. Był również odznaczony Krzyżem Towarzyskim Orderu Łaźni i Krzyżem Wielkim Królewskiego Orderu Wiktoriańskiego. Był także członkiem Tajnej Rady.
17 maja 1887 r. poślubił lady Cicely Alice Gore (1867 – 5 lutego 1955), córkę Arthura Gore’a, 5. hrabiego Arran, i lady Edith Jocelyn, córki wicehrabiego Jocelyn. James i Cicely mieli razem dwóch synów i dwie córki: Beatrice Edith Mildred Gascoyne-Cecil (10 sierpnia 1891–1980), żona Williama Ormsby-Gore’a, 4. barona Harlech, miała dzieci Robert Arthur James Gascoyne-Cecil (27 sierpnia 1893 - 23 lutego 1972), 5. markiz Salisbury Mary Alice Gascoyne-Cecil (29 lipca 1895 – 24 grudnia 1988), żona Edwarda Cavendisha, 10. księcia Devonshire, miała dzieci Edward Christian David Gascoyne-Cecil (9 kwietnia 1902 – 1 stycznia 1986), biograf i krytyk literacki
Lord Salisbury zmarł w wieku 86 lat.