do 1945 należał do rodziny Brühlów) znajdował się "ceniony podobno na milion talarów" (J.I. Kraszewski), słynny Schwanenservice – największy na świecie porcelanowy serwis wykonany w Miśnieńskiej Manufakturze Porcelany na specjalnie zamówienie ministra. Inne jego rezydencje to: Zamek Gaußig, Lindenau, Nischwitz, Oberlichtenau, Zamek Seifersdorf. W Warszawie posiadał: Pałac Brühla w Warszawie (Ossolińskich) i dwa mniejsze: Pałac Brühla na Młocinach Pałac Brühla na Woli.
W 1746 nabył miasto Forst na Łużycach, które rozbudował po pożarze z 1748.
Początki jego dworskiej kariery (m.in. walkę o wpływy z Sułkowskim) opisał Józef Ignacy Kraszewski w powieści Brühl. Saski pierwszy minister jest też ważną postacią ostatniej części tzw. trylogii saskiej Kraszewskiego – Z siedmioletniej wojny, a także powieści Za Sasów i Saskie ostatki (z cyklu Dzieje Polski), oraz epizodyczną utworu Starosta warszawski (o jego synu Alojzym).
Potomstwo 29 kwietnia 1734 zawarł związek małżeński z Marią Anną Franciszką hrabiną von Kolowrat-Krakowsky (1717–1762).