Somerset nie otrzymał żadnego stanowiska w koalicyjnym gabinecie Aberdeena i pierwszym gabinecie Palmerstona. Dopiero w drugim gabinecie Palmerstona w 1859 r. został pierwszym lordem Admiralicji i sprawował to stanowisko to upadku liberalnego gabinetu w 1866 r. W 1861 r. został Lordem Namiestnikiem Devonu, a w 1862 r. kawalerem Orderu Podwiązki. W 1863 r. otrzymał tytuł 1. hrabiego St Maur. Nie wszedł w skład sformowanego w 1868 r. gabinetu Gladstone’a, ale udzielał poparcia rządowi w jego najważniejszych poczynaniach.
10 czerwca 1830 r. poślubił Jane Georgianę Sheridan, wnuczkę dramatopisarza Richarda Brinsleya Sheridana. Słynna z piękności lady Seymour została w 1839 r. wybrana królową piękności na Eglinton Tournament. Edward miał z nią dwóch synów i trzy córki: Ulrica Frederica Jane St Maur Seymour (zm. 26 stycznia 1916), żona lorda Henry’ego Thynne’a, miała dzieci Jane Hermione St Maur Seymour (zm. 4 kwietnia 1909), żona sir Fredericka Grahama, 3. baroneta, miała dzieci Helen Guendolen Seymour (zm. 14 sierpnia 1910), żona sir Johna Ramsdena, 5.