Interesował się bardziej sztuką i literaturą niż wybranym kierunkiem. Jego ulubionymi pisarzami byli Lew Tołstoj, Fiodor Dostojewski, Aleksandr Kurpin, Nikołaj Gogol, Anton Czechow. Pragnął odmienić fotografię – chciał, żeby zdjęcia były realistyczne, mocne, proste i bardzo wyraziste. Zadecydował wtedy o porzuceniu studiów. Profesor matematyki, dowiedziawszy się o decyzji, powiedział: „Halsman, w kilka miesięcy możesz otrzymać stopień inżyniera, a ty chcesz zostać… fotografem!”.
Zarzut thumb|Informacja o wyroku 10 lat więzienia dla Halsmana w piśmie Gazeta Polska w Brazylji wydanego 17 lipca 1930. Po lewej stronie jest ojciec Halsmana, Morduch Halsman, po prawej Philippe Halsman 10 września 1928 22-letni Halsman został oskarżony o morderstwo swojego ojca, którego miał dokonać podczas pieszej wycieczki po austriackim Tyrolu, gdzie panowały antysemickie nastroje. Po rozprawie opartej na przypadkowych dowodach w Innsbrucku został skazany na dziesięć lat więzienia, później tę karę zmniejszono do czterech lat. Rodzina, przyjaciele i adwokaci pracowali nad jego zwolnieniem, otrzymując pełne wsparcie ważnych europejskich intelektualistów, od Sigmunda Freuda, Alberta Einsteina, Thomasa Manna, Jakoba Wassermanna i Paula Painlevé’a, którzy popierali jego niewinność.