Relacje Fryderyka z rodzicami były bardzo burzliwe. Londyńska rezydencja następcy tronu, Leicester House, rychło stała się miejscem spotkań polityków opozycji. Takie postępowanie syna nie podobało się królowi Jerzemu, który przez pewien czas rozważał wysłanie syna do kolonii. Konflikt w rodzinie narastał przez całe lata 30. XVIII w. Rodzice nie przepadali za swoim pierworodnym i faworyzowali jego młodszego brata, księcia Cumberlanda. W 1737 r., kiedy umierała królowa Karolina, Fryderyk odmówił pożegnania się z matką. Niedługo potem został usunięty z dworu.
Fryderyk był wielkim miłośnikiem sztuki i kolekcjonerem. Zgromadził wielką kolekcję francuskich, włoskich, hiszpańskich i flamandzkich obrazów, m.in. dzieła Van Dycka, Rubensa i Breughela. Skupował również miniatury i rysunki. W kręgu patronatu Fryderyka powstała jedna z najpopularniejszych brytyjskich pieśni, Rule Britannia, wykonana po raz pierwszy w 1745 r. w Cliveden, wiejskiej rezydencji księstwa Walii, jako część masque Alfred. W 1731 r. zakupił dobra ziemskie w okolicach Kew, gdzie położył podwaliny pod obecny Królewski Ogród Botaniczny. Książę był również zapalonym krykiecistą.