18 stycznia 1971 na arenie Madison Square Garden pokonał Bruno Sammartino w walce o pas WWWF World Heavyweight Championship, tym samym kończąc ponad siedmioletnie, najdłuższe panowanie mistrzowskie w historii tego tytułu. Miesiąc później, 8 lutego, sam został pokonany w walce o pas przez Pedro Moralesa. Potem przez lata rywalizował z Sammartino, z którym w 1975 stoczył pierwszą na stadionie Madison Square Garden walkę typu Steel Cage Match. WWE uważa tę rywalizację za nierozstrzygniętą, a poziom obu wrestlerów za wyrównany. Koloff pokonał także takich popularnych zawodników jak Bob Backlund i Gorilla Monsoon. Następnie przeniósł się do organizacji American Wrestling Association, gdzie rywalizował z Verne Gagne i z Dusty Rhodesem. Potem w organizacji Mid-Atlantic Championship Wrestling utworzył tag team The Russians, do którego należeli także Nikita Koloff i Krusher Khruschev. Drużynowo rywalizowali oni z The Road Warriors, The Rock ’n’ Roll Express i The Fabulous Freebirds. Kiedy miał wybór, Koloff najchętniej walczył w pojedynkach typu Strap Match, które nazywał Russian Chain Match.
Po 1990 stał się Face’em i wspomógł powstanie organizacji Smoky Mountain Wrestling, a potem Eastern Championship Wrestling.