Wobec takiego rozwoju wydarzeń Goya podjął decyzję o emigracji i 7 września 1823 roku przekazał dom wraz ze znajdującymi się w nim malowidłami ściennymi swojemu siedemnastoletniemu wnukowi, Mariano. Artysta chciał w ten sposób ochronić posiadłość przez możliwymi represjami ze strony odradzającej się monarchii absolutnej Ferdynanda VII, która prześladowała profrancuskich kolaborantów i liberałów. Ponieważ Mariano był niepełnoletni i nie mógł sam utrzymać domu, w rzeczywistości posiadłość przeszła na jego ojca Javiera, syna Goi. Fakt, że Goya nie zapisał domu bezpośrednio swojemu synowi jest jednym z dowodów na ich chłodne i pełne nieufności relacje. Po wyjeździe do Francji w 1824 roku Goya jeszcze dwukrotnie odwiedził Madryt, zawsze zatrzymując się w swoim domu.
Czarne obrazy thumb|Rozmieszczenie czarnych obrazów w Domu Głuchego (parter i piętro budynku)
thumb|Saturn pożerający własne dzieci, jeden z czarnych obrazów na zdjęciu wykonanym przez Jeana Laurenta w Domu Głuchego ok.