Do zawarcia znajomości doktora Gacheta z van Goghiem doszło dzięki Pissarrowi, gdy ten dowiedział się na jesieni 1888, że Theo van Gogh poszukuje pod Paryżem lekarza i odpowiedniego mieszkania dla brata Vincenta, który przebywał w szpitalu w Saint-Remy po ataku szału, jaki miał w Arles (odciął sobie wówczas ucho). Van Gogh przyjechał do Auvers 20 maja 1890 i nawiązał kontakt z lekarzem. Doktor Gachet, specjalista chorób serca (wskazuje na to symbolicznie umieszczony na portrecie kwiat naparstnicy, z której wytwarza się lek na choroby serca) sprawował nie tylko opiekę medyczną nad van Goghiem, gdy ten przebywał w Auvers-sur-Oise, ale został również jego bliskim przyjacielem. Już 25 maja (według świadectwa syna Gacheta) van Gogh namalował pierwszy portret lekarza, kilka dni później sporządził jego portret w akwaforcie, a potem drugi olejny portret. Gachet oprócz opieki medycznej pomógł też van Goghowi znaleźć w Auvers-sur-Oise mieszkanie.
Ponieważ Gachet sam był malarzem, zrodziły się w związku z tym podejrzenia, że II wersja portretu wyszła spod jego pędzla, wiadomo bowiem, że doktor malował kopie obrazów impresjonistów, m.in. van Gogha, Cézanne’a, Renoira i Moneta.