Życie prywatne W latach 1992-94 był żonaty z modelką Roshumbą Williams. W latach 1995–2000 był związany z Jennifer Sutton, z którą ma córkę Nylę (ur. 1998). Ze związku z Cynthią Hadden ma syna Lyrica (ur. 2003). Spotykał się z Lisą Snowdon (2002-04). W sierpniu 2005 został oskarżony przez swoją, byłą przyjaciółkę Anne Green o gwałt; sprawa trafiła do sądu, zmieniono zarzut na brutalną przemoc, a Dourdan otrzymał zakaz zbliżania się do Green oraz nakaz odbycia terapii psychologicznej. W 2007 Gary rzucił się z pięściami na fotoreportera.
28 kwietnia 2008 został zatrzymany za jazdę w stanie nietrzeźwości oraz posiadanie narkotyków i nielegalnych leków; uwagę policjantów zwrócił źle zaparkowany samochód przy Sunny Dunes Road w Palm Springs. Dourdan był naćpany, a w samochodzie znaleziono heroinę, kokainę, ecstasy i leki na receptę. Okazało się, że od jakiegoś czasu Gary na planie CSI: Kryminalne zagadki Las Vegas pojawiał się odurzony. Producenci nie przedłużyli kontraktu z Dourdanem, zabijając jego bohatera Warricka w finale 8. sezonu. Sam aktor długo wmawiał mediom, że odszedł na własne życzenie.