Jeszcze zanim objął arcybiskupstwo w Mediolanie, zyskał sobie opinię człowieka zdolnego i surowych zasad. Kiedy wprowadzał postanowienia soborowe w Rzymie mówiono, że miasto przestało być już miejscem, gdzie można się bawić i robić interesy, bo Karol Boromeusz całkowicie je zmienił, a jego zapał reformatora zaprowadzi go do zmiany reszty świata, zaraz kiedy tylko skończy z Rzymem. I rzeczywiście, z żelazną konsekwencją zajął się reformą diecezji, która podupadła z powodu trwającej 80 lat nieobecności biskupa. Było to trudne zadanie, ponieważ była to wówczas największa we Włoszech z ponad 3 tysiącami duchownych i 800 tysiącami ludzi. Sprzedaż odpustów i stanowisk kościelnych była powszechnym obyczajem. Klasztory były w opłakanym stanie i „pełne nieporządku”, a duchowni „leniwi, niewykształceni i rozpustni”. Boromeusz przeprowadzał liczne wizytacje w celu przywrócenia ładu. Przeprowadził 13 synodów diecezjalnych i 5 prowincjonalnych, by wprowadzić uchwały i reformy Soboru Trydenckiego. Zgodnie z postanowieniami Soboru zarządził uproszczenie wnętrz kościelnych. Usunął z Katedry ozdobne grobowce, bogate w ornamenty flagi i godła, nie oszczędzając nawet tych związanych z jego rodziną.