Wikariusz apostolski 10 stycznia 1933 papież Pius XI mianował go wikariuszem apostolskim Gujany Francuskiej–Kajenny oraz biskupem tytularnym aradyjskim. 25 marca 1933 w Quimper przyjął sakrę biskupią z rąk biskupa Quimperu Adolphe-Yves-Marii Duparca. Współkonsekratorami byli emerytowany biskup Poitiers Marie-Augustin-Olivier de Durfort de Civbac de Lorge oraz przełożony generalny duchaczy bp Louis Le Hunsec CSSp.
Do Gujany Francuskiej wyjechał 1 września 1933. Wikariat apostolski Gujany Francuskiej–Kajenny zamieszkany w większości przez katolików był ówcześnie jedynie na wybrzeżu. W głębi kraju brakowało ośrodków duszpasterskich. Bp Gourtay szczególnie dbał o licznych skazańców zamieszkujących kolonię, których otoczył opieką duszpasterską i interweniował w ich sprawie w Ministerstwie Kolonii. Wspierał również działania dobroczynnie, jak prowadzone przez Kościół ambulatoria, szkoły i sierocińce. Wysyłał misjonarzy w głąb kraju do poszukiwaczy złota, Indian i ludności czarnoskórej.
Pod koniec życia osłabiony chorobami. Miał udać się na leczenie na Martynikę, lecz jego stan zdrowia nie pozwolił na transport samolotem. Zmarł z wycieńczenia 16 września 1944.
Bibliografia
Kategoria:Francuscy biskupi katoliccy Kategoria:Biskupi katoliccy z Gujany Francuskiej Kategoria:Francuscy duchacze Kategoria:Ludzie urodzeni w Châteaulin Kategoria:Ludzie związani z Kajenną
Kategoria:Urodzeni w 1874 Kategoria:Zmarli w 1944