W 1865 został przeniesiony na Cejlon, którym zarządzał do 1872 roku. Następnie trafił do Australii, gdzie został gubernatorem posiadającej już duży zakres autonomii Nowej Południowej Walii. Na tym stanowisku wsławił się jako jeden z głównych autorów przyłączenia Fidżi do Imperium Brytyjskiego. W latach 1874–1875 łączył stanowiska gubernatora Nowej Południowej Walii oraz Fidżi. W 1879 został gubernatorem Nowej Zelandii, jednak już w 1880 został przeniesiony na sprawowane równocześnie stanowiska wysokiego komisarza Afryki Południowej oraz gubernatora Kolonii Przylądowej, gdzie miał za zadanie ustabilizować sytuację po I wojnie burskiej oraz wojnie brytyjsko-zuluskiej (1879). W 1884 był głównym brytyjskim negocjatorem podczas rokowań z Transwalem, których owocem była konwencja londyńska, czyniąca z Transwalu protektorat brytyjski. W maju 1889 Robinson ogłosił swoje przejście na emeryturę i powrócił do Wielkiej Brytanii.