Po dwóch ćwierćfinałach w Barcelonie i Rzymie Andriej odpadł z French Open już w pierwszej rundzie, a także odpadł w czwartej rundzie Wimbledonu.
Na igrzyskach olimpijskich w Tokio pod koniec lipca Rublow odpadł w grze pojedynczej i podwójnej w pierwszej rundzie. W grze mieszanej został mistrzem olimpijskim ze swoją partnerką Anastasiją Pawluczenkową. Wygrali wszystkie cztery mecze, w finale pokonując parę Jelena Wiesnina/Asłan Karacew.
Niedługo po turnieju olimpijskim dotarł do finału turnieju z kategorii Masters w Cincinnati, przegrywając po równym meczu z Alexandrem Zverevem. W US Open był rozstawiony z numerem 5. i dotarł do trzeciej rundy, przegrywając z Frances Tiafoe. 13 września osiągnął swój najwyższy wynik w rankingu ATP singlistów – 5. miejsce. Końcem września zadebiutował w Pucharze Lavera, zostając powołanym do drużyny europejskiej przez Björna Borga. Rozegrał jeden mecz indywidualny oraz dwa deblowe, z których wszystkie trzy okazały się zwycięskie. W połowie listopada ponownie wystąpił w turnieju ATP Finals rozgrywanym w Turynie.