Brassey publikował również artykuły prasowe na wyżej wymienione tematy, pisał listy do The Timesa, pamflety oraz wygłaszał odczyty. Każdą przerwę w pracach parlamentu wykorzystywał na żeglarstwo. W latach 1876–1877 przedsięwziął podróż dookoła świata, którą opisał następnie w książce Sunbeam R.Y.S., opublikowanej kilka miesięcy po śmierci Braseya. W 1916 r. przekazał swój ulubiony jacht rządowi Indii, gdzie służył jako okręt szpitalny podczas wojny.
W 1880 r. Brassey został członkiem drugiego rządu Williama Ewarta Gladstone’a jako cywilny lord Admiralicji. Był nim do 1884 r. W 1881 r. otrzymał tytuł szlachecki. 24 maja został odznaczony Krzyżem Komandorskim Orderu Łaźni za zasługi dla marynarki. W 1884 r. został parlamentarnym sekretarzem przy Admiralicji i był nim do wyborczej porażki liberałów w 1885 r. W 1886 r. rozpoczął wydawanie Naval Annual, corocznego źródła informacji na tematy morskie. W tym samym roku przegrał wybory powszechne. Został jednak kreowanym baronem Brassey i zasiadł w Izbie Lordów.
W latach 1893–1895 Brassey był Lordem-in-Waiting królowej Wiktorii. W 1895 r. został gubernatorem Wiktorii. Na tym stanowisku odebrał poważną rolę w pracach nad powstaniem federacji australijskich kolonii.