Ostatnie lata i śmierć Gordon zaprzestał pisać swój dziennik w końcu roku 1698, w jednym z ostatnich zapisków czytamy: „w niniejszym roku czułem wyraźnie pogarszanie się zdrowia i utratę sił. Niech się dzieje wola Twoja, miłosierny Boże Panie”. W czasie jego ostatniej choroby car Piotr często go odwiedzał, był obecny przy ostatnim namaszczeniu i osobiście zamknął mu powieki. Pochowano Gordona w krypcie kościoła katolickiego (do wzniesienia którego generał się wielce przyczynił) na tzw. Nowym Przedmieściu Niemieckim (Нoвaя нeмeцкaя cлoбoдa) w Moskwie. Piotr urządził mu wystawny pogrzeb: trumna niesiona była przez 28 pułkowników, wraz z wdową kroczyło za nią kilkadziesiąt dam z najwyższej arystokracji rosyjskiej, przy składaniu trumny do krypty oddano salut z 24 armat. W 1877 nieużywany już kościół (moskiewscy katolicy wznieśli nowy, większy) rozebrano, a doczesne szczątki Gordona przeniesiono na cmentarz dla innowierców Wwiedienskoje (Введенcкoe (Нeмeцкoe) клaдбищe) w dzielnicy Lefortowo, gdzie do dziś dnia spoczywają. Postawiono mu nowy nagrobek z napisem w języku niemieckim: „Hier ruhen die Gebeine des Obersten GORDON Zeitgenossen PETERS des GROSSEN und LEFORTS im Jahre 1877 hierher überführt aus seinem ehemaligen Hause nahe der Deutschen Strasse”, pol.