Wkrótce potem lord Stanley zaproponował jego kandydaturę na gubernatora Nowej Południowej Walii. Pomysł został przychylnie przyjęty i FitzRoy został nowym gubernatorem. Do Australii przybył na pokładzie HMS Carysford dnia 2 sierpnia 1846 r. Niedługo później przypłynęła jego żona z dziećmi.
Półtora roku później lady Mary zginęła w wypadku powozu. Załamany FitzRoy zdecydował się zrezygnować z funkcji gubernatora i wrócić do Anglii, jednak jego finanse nie pozwoliły mu na to. W 1851 r. założył miasto Grafton, nazwane na cześć swojego dziadka, premiera Wielkiej Brytanii.
W 1855 r. opuścił Australię i wrócił do Anglii. Zmarł w Londynie w wieku 61. lat. Otrzymał Krzyż Komandorski Orderu Łaźni oraz był kawalerem Orderu Gwelfów.
Rodzina 11 marca 1820 r. poślubił lady Mary FitzRoy (ok. 1792 – 7 grudnia 1847), córkę Charlesa Lennoxa, 4. księcia Richmond i lady Charlotte Gordon, córki 4. księcia Gordon.