Wysoki i przystojny, Petersham przypominał według niektórych króla Henryka IV. Dla udokumentowania podobieństwa nosił krótko przystrzyżoną brodę. Sam zaprojektował większość swoich strojów, które szybko zostały skopiowane. Od jego imienia nazwany został typ kapelusza (Harrington hat) i płaszcza (Petersham overcoat). Podobno książę-regent zamówił po jednym egzemplarzu płaszcza Petershama na każdy dzień tygodnia. Ulubionym kolorem wicehrabiego był brąz. W tym kolorze posiadał większość ubrań i powóz. Brązowe były też stroje służby.
Już jako hrabia Harrington wynajął Williama Barrona, aby ten zaprojektował ogrody we wiejskiej rezydencji Stanhope'ów, Elvaston Castle. Hrabia zlecił też Lewisowi Cottinghamowi zmianę wystroju głównej sali, nazywanej od tamtej pory "Salą Pięknej Gwiazdy" (Hall of the Fair Star).
7 kwietnia 1831 r. w Elvaston Castle, poślubił Marię Foote (czerwiec 1798 - 27 grudnia 1867), córkę Samuela Foote'a, byłą aktorkę Covent Garden. Ich związek spotkał się z oporem ze strony starego hrabiego Harrington i był przedmiotem plotek wśród londyńskiej śmietanki towarzyskiej.