Kolekcjonowanie sztuki rozpoczął w latach 90. XIX wieku, początkowo koncentrując się na malarstwie duńskim XIX wieku oraz na rysunkach dawnych mistrzów europejskich. Zainteresował się artystami z kręgu tak zwanych Fynboerne, czyli twórców związanych z wyspą Fionią, zanim ich znaczenie zostało powszechnie uznane. Podczas pobytu w Paryżu w 1912 skierował swoją uwagę ku współczesnemu malarstwu francuskiemu. W kolejnych latach szczególne miejsce w jego zbiorach zajęła twórczość Henriego Matisse’a. Kolekcja Rumpa stała się jednym z ważniejszych w Europie Zachodniej prywatnych zbiorów francuskiego modernizmu.
W 1923 zaproponował Statens Museum for Kunst w Kopenhadze przekazanie swojej kolekcji sztuki francuskiej, lecz jej przyjęcie napotkało wówczas opór związany zarówno z oceną zbioru, jak i z warunkami stawianymi przez kolekcjonera. W 1928 Rump ostatecznie podarował muzeum swoją kolekcję nowoczesnej sztuki francuskiej wraz ze znacznymi środkami przeznaczonymi na jej instalację i dalsze powiększanie zbioru. Donacja obejmowała dzieła m.in. Matisse’a, André Deraina i Georges’a Braque’a.