Życie prywatne Brassey był dwukrotnie żonaty. Po raz pierwszy ożenił się 9 października 1860 r. w kościele św. Jerzego na Hanover Square w Londynie z Anną Allnutt (7 października 1839 – 14 września 1887), córkę Johna Allnutta i Elizabeth Burnett, córki Johna Burnetta. Thomas i Anna mieli razem jednego syna i cztery córki: Thomas Allnutt Brassey (7 marca 1863 – 12 listopada 1919), 2. hrabia Brassey Mabel Annie Brassey (1865 – 18 lutego 1927), odznaczona Krzyżem Komandorskim Orderu Imperium Brytyjskiego, żona Charlesa Augustusa Egertona, miała dzieci Constance Alberta Brassey (1868 – 24 stycznia 1873) Muriel Agnes Brassey (1872 – 8 sierpnia 1930), żona Gilberta Sackville, 8. hrabiego De La Warr, miała dzieci Marie Adelaide Brassey (1875 – 30 stycznia 1960), odznaczona Krzyżem Wielkim Orderu Imperium Brytyjskiego, żona Freemana Freemana-Thomasa, 1. markiza Willingdon, miała dzieci
18 września 1890 r. w kościele św. Pawła w Londynie poślubił Sybil Capell (29 listopada 1858 – 20 lutego 1934), córkę Arthura Capella, wicehrabiego Malden, i Emmy Meux, córki sir Henry’ego Meuxa, 1. baroneta. Thomas i Sybil mieli razem jedną córkę: Helen de Vere Brassey (4 września 1892 – 30 czerwca 1971), żona podpułkownika sir Johna Murraya, nie miała dzieci