Rezydencja za życia Goi Goya zakupił tę posiadłość 27 lutego 1819 roku za cenę 60 000 reali (reales de vellón). Dom został wybudowany w 1795 roku przez poprzedniego właściciela, adiutanta Anselma Montañeza. Montañez cierpiał na głuchotę i chociaż to do niego odnosiła się nazwa domu, pasowała również do Goi, który ogłuchł po przebytej w 1792 roku chorobie. Wdowa po Montaniezie sprzedała posiadłość Pedro Marcelino Blasco, od którego kupił ją Goya. Decyzja o opuszczeniu miasta przez artystę miała wiele możliwych przyczyn. Uważa się, że Goya wybrał tak odosobnione miejsce, aby oddalić się od dworu Ferdynanda VII lub by z dala od plotek zamieszkać ze swoją zamężną kochanką Leokadią Weiss (z domu Zorrilla). Zamieszkało z nimi również dwoje dzieci Leokadii – Guillermo i Rosario, która mogła być córką Goi.