Kariera piłkarska Jest wychowankiem lokalnego Vordingborg BK. W wieku dwudziestu trzech lat wyjechał do Belgii, gdzie przez trzy sezony występował w Cercle Brugge, a przez cztery kolejne w RWD Molenbeek. W 1980 roku upomniał się o niego najlepszy klub w kraju RSC Anderlecht, z którym następnie trzykrotnie triumfował w rozgrywkach o mistrzostwo Belgii oraz – w 1983 roku – w Pucharze UEFA.
Po udanym dla reprezentacji Danii Mundialu 1986 37-letni Olsen przeniósł się do niemieckiego 1. FC Köln, gdzie trzy lata później zakończył piłkarską karierę.
1970–72 – B 1901 1972–76 – Cercle Brugge 1976–80 – Racing White Molenbeek 1980–86 – RSC Anderlecht 1986–89 – 1. FC Köln
Sukcesy piłkarskie mistrzostwo Belgii 1981, 1985 i 1986 oraz Puchar UEFA 1983 z Anderlechtem Piłkarz roku 1983 i 1986 w Danii
W reprezentacji Danii od 1970 do 1989 roku rozegrał 102 mecze i strzelił 4 gole – start w Euro 1984 (III/IV miejsce), Euro 1988 (runda grupowa) oraz Mundialu 1986 (1/8 finału).
Kariera szkoleniowa W 1989 roku rozpoczął pracę szkoleniową w Brøndby IF, z którym jeszcze w tym samym sezonie zdobył mistrzostwo Danii. Wynik ten powtórzył rok później.
Po zwolnieniu z Brøndby, w połowie 1993 roku został trenerem swojego dawnego klubu 1. FC Köln.