Sprzeciwiał się także wykorzystywaniu przez Włochów ludności słoweńskiej, o czym napisał w liście pasterskim z maja 1942. O działaniach okupantów względem narodu podbitego poinformował papieża Piusa XII. Sam osobiście zaprotestował w październiku 1942 do Wysokiego Komisarza Policji Prowincji Lublany. Domagał się zwolnienia wszystkich, przetrzymywanych bez uzasadnionego powodu. 20 kwietnia 1944 odprawił uroczystą mszę świętą dla słoweńskiej policji, w której nie uczestniczyli przedstawiciele Niemców, którzy okupowali Słowenię od 1943 roku. Odmówił uczestnictwa w przysiędze, uzasadniając to bólem gardła. Gdy Jugosławię wyzwalały oddziały komunistycznej partyzantki, Rožman wraz z Leonem Rupnikiem i dr. Janezem Kraljićem uciekli do Klagenfurtu, który był w brytyjskiej strefie okupacyjnej Austrii. Władze Jugosławii zwróciły się z prośbą do Brytyjczyków o wydanie im Rožmana. Wielka Brytania wskutek nacisków Watykanu nie wydała biskupa. W maju 1945 Rožman został uznany przez media jugosłowiańskie za zbrodniarza wojennego, a 15 lipca 1945 o to oskarżyły go władze Jugosławii. Biskupa sądzono w jednym procesie co generała Leona Rupnika, szefa administracji prowincji Lublany, z jego sekretarzem Milko Vizjakiem, generała SS Erwina Rösenera, komendanta policji Lovro Hacinem i dr. Mihou Krekem.