Klub nigdy nie powtórzył sukcesu z 1883 roku. W sezonie 1884/85 przegrał w drugiej rundzie z Rovers, które stawało się przodującą drużyną w mieście, wygrywając Puchar Anglii po raz drugi z rzędu. W 1885 roku The Football Association zalegalizowało zawodowstwo. W konsekwencji klubom takim jak Olympic trudno było znaleźć sponsorów i przyciągnąć na stadion kibiców. The Light Blues nie byli w stanie rywalizować z zawodowym lokalnym rywalem Rovers, gdyż nie mogli sprostać oczekiwaniom zawodników, a zawodowe kluby oferowały o wiele wyższe płace. W 1886 roku klub został zmuszony do zredukowania pensji piłkarzy. W efekcie wielu kluczowych zawodników odeszło do zamożniejszych zespołów.
The Football League, pierwsza piłkarska liga na świecie, założona została w 1888 przez kluby z Midlands i północy kraju. Prezes Aston Villi William McGregor wprowadził zasadę, że do ligi może wstąpić jeden klub z każdego miasta. W przypadku Blackburn wybór padł na Rovers. Zespoły, które nie zostały zaproszone do Football League, w tym Blackburn Olympic, stworzyły własne rozgrywki, jednak małe zainteresowanie ze strony kibiców spowodowało ich rozwiązanie pod koniec sezonu 1888/1889.