Budowa mały|300px|lewo|Południowo-zachodnia część murów (Platforma Świętej Graty i Bastion Świętego Jana) Ostateczna decyzja dotycząca realizacji projektu budowy murów została podjęta przez senat wenecki w 1561, a 31 lipca tego roku przyjechał do Bergamo hrabia Sforza Pallavicino, aby nadzorować rozpoczęcie budowy. Do realizacji tego ogromnego dzieła zgromadzono wielką liczbę robotników oraz architektów z Wenecji i Bergamo, ale także żołnierzy. Należało bowiem zburzyć ok. 250 budynków, co mogło się spotkać z protestami mieszkańców. Dlatego potrzebne były liczne siły porządkowe. Zburzono więc liczne domy, pracownie, ale także osiem miejsc kultu, wśród których znalazły się katedra św. Aleksandra (gdzie przechowywano relikwie patrona miasta) i konwent dominikanów pod wezwaniem św. Szczepana. Zburzenie kościołów i klasztorów przyniosło osiem ekskomunik nałożonych przez lokalne duchowieństwo na hrabiego Sforzę Pallavicino, który później musiał podjąć wiele wysiłków (wraz z ofiarowaniem pewnych sum pieniędzy), aby zostały one odwołane.