Pod koniec XIV wieku ilustrował miniaturami „Ewangeliarz Chitrowa”. Za pierwsze dzieło Rublowa uznaje się freski w soborze Zaśnięcia Matki Bożej na Gorodku w Zwieniogorodzie (ok. 1400 rok), zachowane do dziś w niewielkich fragmentach.
Wraz ze swoimi mistrzami, Teofanem Grekiem i Prochorem z Gorodca, dekorował Sobór Zwiastowania na Kremlu w 1405 roku. W 1408 razem z mnichem Danielem Czarnym wykonał freski do soboru Zaśnięcia Matki Bożej we Włodzimierzu nad Klaźmą. Z tych prac zachowają się fragmenty z zachodniej części cerkwi oraz dwa rzędy ikon z ikonostasu. W latach 1410–1420 ponownie pracował w Zwienigorodzie. Zachowały się trzy ikony z rzędu Deesis i freski soboru Narodzenia Matki Boskiej klasztoru Sawino-Starożewskiego, ocalałe we fragmentach.
Na początku lat dwudziestych XV wieku mnisi Daniel Czarny i Andriej Rublow z uczniami zostali zaproszeni do malowania fresków w odbudowanym kamiennym soborze Św. Trójcy w Ławrze. Malowidła nie zachowały się, lecz przetrwał do naszych czasów ikonostas, najstarszy zachowany zabytek tego typu. Po zakończeniu prac Rublow wyjechał do Monasteru Spaso-Andronikowskiego w Moskwie, gdzie namalował freski w soborze Obrazu Zbawiciela Nie Ludzką Ręką Uczynionego, z których pozostały tylko niewielkie fragmenty.