22 grudnia 2015 Olsen podpisał umowę z drugoligowym Vendsyssel FF, na mocy której został wypożyczony do tego klubu do końca sezonu. Zagrał dla niego w jedenastu meczach, nie zdobywając żadnej bramki. Klub na koniec sezonu zajął czwarte miejsce w tabeli. W lipcu 2016 Olsen podpisał trzyletni kontrakt z pierwszoligowym Randers FC. W barwach nowego klubu zadebiutował 5 sierpnia 2016 w wygranym 1:0 meczu przeciwko AC Horsens, pierwszą bramkę zdobył zaś 5 listopada 2016 w spotkaniu z FC Nordsjælland (2:1). Łącznie rozegrał dla Randers dziewięć spotkań ligowych, w których strzelił jednego gola.
21 kwietnia 2018 Olsen przeszedł do islandzkiego Fimleikafélag Hafnarfjarðar. W lidze islandzkiej zadebiutował 28 kwietnia 2018 w wygranym 1:0 meczu z Ungmennafélag Grindavíkur. Pierwszego gola w tych rozgrywkach strzelił 13 maja 2018 w spotkaniu z Fjölnir (3:2). Łącznie w barwach FH wystąpił w 38 ligowych spotkaniach, w których zdobył 12 bramek.