W 1938 roku, po reformie systemu lig ZSRR, awansował do Grupy A, jednak nie utrzymał się w niej. Zajął 21 miejsce i spadł do Grupy B. W 1939 roku zakończył rozgrywki w Grupie B na 18 pozycji. Zgodnie z regulaminem 12 najgorszych drużyn mistrzostw utraciło status drużyny mistrzów, a wśród nich znalazł się Spartak. Zespół stracił wszystkich czołowych zawodników i kolejny sezon 1940 spędził w drugiej grupie mistrzostw Charkowa. W 1941 roku doszło do ponownej reorganizacji Mistrzostw ZSRR, zdecydowano, że Charków w Grupie A będzie reprezentowany przez Spartak. Tak naprawdę był to nowy zespół, w którym prawie nie było zawodników z poprzednich lat. Trzon drużyny stanowili zawodnicy rozwiązanych drużyn charkowskich Dynamo i Silmasz. W tabeli klub zajmował 14 pozycję, jednak II wojna światowa przeszkodziła zakończyć rozgrywki.
Po zakończeniu wojny drużyna nie brała udziału w ogólnokrajowych turniejach mistrzostw ZSRR, lecz występowała w mistrzostwach Charkowa.