Rok później nie udało się obronić tytułu i Ilves zajął ostatecznie trzecie miejsce. W 1985 roku, po przegranym finale z HJK Helsinki, Ilves po raz pierwszy został wicemistrzem Finlandii. Dzięki temu klub wziął udział w Pucharze UEFA w sezonie 1986/87. Już w pierwszej rundzie Ilves trafił na jeden z najsłynniejszych klubów europejskich – szkocki zespół Rangers. Na Ibrox Park Ilves przegrał 0:4. Wysoka porażka nie załamała fińskich piłkarzy, którzy u siebie niespodziewanie pokonali Rangersów 2:0.
W następnych latach klub spisywał się słabiej, zajmując pozycje w okolicach środka tabeli. W 1990 Ilves trzeci raz dotarł do finału krajowego pucharu, gdzie pokonał 2:1 HJK Helsinki i po raz drugi zdobył Puchar Finlandii. Dzięki temu wziął udział w Pucharze Zdobywców Pucharów w sezonie 1991/92. Ponieważ tym razem w pierwszej rundzie udało się wylosować łatwiejszego rywala, jakim był północnoirlandzki klub Glenavon Lurgan, Ilves zdołał wykorzystać szansę i pierwszy raz awansować do kolejnej rundy europejskich pucharów. Na wyjeździe drużyna fińska przegrała 2:3. W rewanżu Ilves prowadził już 2:0, jednak na kwadrans przed końcem goście zdobyli bramkę kontaktową, przez co sprawa awansu ważyła się do ostatniej minuty. W kolejnej rundzie Ilves trafił na bardzo trudnego rywala – włoski klub AS Roma.