Po wybuchu II wojny światowej wielokrotnie interweniował w sprawie praw polskich robotników przymusowych, protestował przeciwko próbom wprowadzenia przez władze Rzeszy rozdziału narodowościowego w kościołach oraz przeciwko zakazom sprawowania duszpasterstwa w języku narodowym. Między innymi przypominał swoim księżom, że żaden kapłan nie może odmówić spowiedzi penitentowi wyznającemu swe grzechy w języku polskimAkten Deutscher Bischöfe über die Lage der Kirche 1933 1945, t. V, s. 527nn. Na pytanie niejakiego księdza Grochla, jak ustosunkować się do zakazu używania polskiego przy spowiedzi, Bertram 26 grudnia 1940 pisał do niego: „Na pytanie księdza z 20 bm. odpowiadam, że ksiądz nie może odmówić wysłuchania spowiedzi w języku polskim, kiedy przyjąć można, że spowiadający się nie jest w stanie wystarczająco jasno wysłowić się w języku niemieckim. Ponieważ przyjęcie takiej spowiedzi parafianina jest obowiązkiem urzędowym księdza, spowiadający się ma prawo wyspowiadać się w tym języku, w którym zgodnie ze swym przekonaniem potrafi on wystarczająco jasno wyrazić swe wyznanie”..