Po zwolnieniu wyjechał do Niemiec. W 1925 został zatrudniony w Instytucie Badań Społecznych we Frankfurcie, kierowanym najpierw przez Carla Grünberga, a od 1930 przez Maxa Horkheimera. 28 marca 1927 uzyskał habilitację na Wydziale Ekonomii i Nauk Społecznych Uniwersytetu Johanna Wolfganga Goethego we Frankfurcie na podstawie rozprawy Österreichs Handelspolitik.

Opuścił Niemcy po dojściu Hitlera do władzy w 1933 i udał się do Paryża, później w styczniu 1936 do Londynu, a w październiku 1937 do Nowego Jorku. Tam rozeszły się jego drogi ze współpracownikami z Instytutu Badań Społecznych, którzy odeszli od marksizmu i poszukiwania wyjaśnień naukowych na rzecz tworzonej przez siebie teorii krytycznej, podczas gdy Grossmann porzucił w 1936 krytyczne nastawienie do Związku Socjalistycznych Republik Radzieckich. Do 1941 i ponownie po wojnie prowadził w swoim domu zajęcia dla niewielkich grup studentów Columbia University, przy którym afiliowany był w Nowym Jorku Instytut Badań Społecznych. Do jego najbliższych przyjaciół w tym okresie należeli pisarka australijska Christina Stead i jej partner .