W 1355 r. rozpoczyna budowę cytadeli w Bergamo. W sierpniu tego roku nieskutecznie próbuje opanować Bolonię. 26 września umiera Matteo II, a państwo zostaje podzielone między dwóch pozostałych braci.
4 października 1356 r. wikariusz cesarski Markward von Raudeck atakuje Mediolan, ale zostaje pokonany i 12 listopada uwięziony przez żołnierzy Bernabò. Ten wplątuje się również w konflikt z papieżem, który w 1360 r. oskarża go o herezję. Wybucha wojna, podczas której Bernabò 29 lipca 1361 r. zostaje pokonany pod San Ruffillo przez wojska legata papieskiego dowodzone przez Galeotto Malatestę. Jest to wielka klęska. Na dodatek, 14 października 1362 r. zostaje zamordowany Ugolino Gonzaga, mąż jego siostry Katarzyny Visconti. Wydarzenie to spowodowało konflikt między Bernabò a Mantuą, który będzie trwał przez kilka lat.