Życie Urodził się w Warszawie w niezamożnej kupieckiej rodzinie żydowskiej – ojciec Ignacy był właścicielem sklepu z konfekcją, matka, Hela z Bechedrów, prowadziła dom. Studiował najpierw architekturę na Politechnice Warszawskiej, a później w warszawskiej ASP. Uprawiał rysunek i malarstwo. W 1928 r. w Warszawie poznał Jarosława Iwaszkiewicza, z którym połączyła go serdeczna przyjaźń i zażyłość, trwająca do końca życia. Jej ślady i charakterystykę odnaleźć można w kilku utworach Iwaszkiewicza. Był homoseksualny. W tym czasie związał się też z Janem Lechoniem.
W dwudziestoleciu międzywojennym wiele podróżował po Europie – Włoszech, Niemczech i Hiszpanii. W roku 1928 osiadł we Francji i tam też najdłużej przebywał. W Paryżu uczył się malarstwa u Édouarda Vuillarda.
W 1936 r. cztery rysunki Rajnfelda ukazały się drukiem w „Skamandrze”. Był towarzyszem Jarosława Iwaszkiewicza w jego wyprawie do Włoch i jego „Cicerone” w sprawach malarstwa – to właśnie Rajfeldowi pisarz zadedykował swoją Książkę o Sycylii, choć w jej treści pojawia się tylko jako „mój przyjaciel” niewymieniony z imienia.
Dedykacja na, wydanej w 1966, Książce o Sycylii brzmi: „Pamięci Józefa Rajnfelda”Jarosław Iwaszkiewicz: Książka o Sycylii. Kraków, Wyd. Literackie, 1966, s.