Życie prywatne Był parokrotnie żonaty, po raz pierwszy ożenił się z piosenkarką i nauczycielką muzyki Novellą Hanson; para ma jedną córkę, piosenkarkę jazzową Hedvig Hanson. Jego drugim małżeństwem była urodzona w Rosji tancerka, aktorka i choreograf Tatyana Bassova; z tego związku miał jedną córkę, Ellen Kilgas. Po rozwodzie z Bassovą nawiązał długotrwały związek z aktorką i piosenkarką Katrin Karisma; para miała jedną córkę, aktorkę Piret Krumm. Kilgas i Karisma zakończyli swój związek w 2007 roku. Najmłodszym dzieckiem Kilgasa jest córka Susan, ze związku z kobietą nie zajmującą się rozrywką.
Kilgas otwarcie mówił o swoim wcześniejszym uzależnieniu od alkoholu i hazardu. W 2004 roku, w wieku pięćdziesięciu lat, przestał pić i uprawiać hazard, a także rzucić palenie papierosów.
W 2011 roku córka Kilgasa, Hedvig Hanson, znalazła w jego piwnicy kilka pamiętników należących do matki Kilgasa, Ellen Kaarmy. To ostatecznie stworzyło podstawę biografii, którą Hanson napisała o Kaarmie w 2012 roku, zatytułowanej The Untold Story: Vanemuine Actress Ellen Kaarma (1928–1973), opublikowanej przez Tänapäev.