Około 1773 został nauczycielem muzyki Michała Kleofasa Ogińskiego i jego rodzeństwa na dworze w Guzowie i w Trokach. Około 1777 był krótko członkiem kapeli wojewody Józefa Gabriela Stempkowskiego w Łabuniu (powiat zasławski). W 1780 udał się do Rosji, gdzie poznał księcia Jurija Dołgorukowa, który nakłonił go do służby wojskowej i mianował swoim adiutantem podczas wojny tureckiej. W latach 1786–1796 służył w wojsku rosyjskim w randze oficera i brał udział w wojnie z Turcją (1787–1792). Zwrócił na siebie uwagę księcia Grigorija Potiomkina, który w 1790 zaprosił Kozłowskiego na swój dwór; od 1791 przebywał w Petersburgu, gdzie zyskał sławę jako organizator części muzycznej uroczystości urządzonych w 1791 przez Potiomkina na cześć zdobycia tureckiej twierdzy Izmaił (nad Dunajem).
Dzięki poparciu Potiomkina został dyrektorem teatrów carskich w Petersburgu. Po śmierci protektora w październiku 1791 Kozłowski zamieszkał w domu Lwa Naryszkina, byłego faworyta cesarzowej Katarzyny II. Zapoznawał się wówczas z rosyjskim folklorem oraz komponował okolicznościową muzykę, stając się cenionym w Rosji twórcą. Od 1799 był inspektorem muzyki, zaś w latach 1803–1819 dyrektorem muzycznym w dyrekcji carskich teatrów. Po ataku paraliżu w 1819 Kozłowski przeszedł na emeryturę jako radca dworu.