Po zdobyciu miasta przez wojska pruskie Fryderyka II Wielkiego w 1741, najważniejszym okresem w rozbudowie twierdzy Ołomuniec był tzw. okres terezjański. Po utracie Śląska przez Austrię Ołomuniec stał się miastem granicznym i w latach 1742–1757 wzniesiono nowoczesną twierdzę w kształcie pięcioramiennej gwiazdy według planu austriackiego inżyniera Pierre’a Philippe’a Bechade de Rochepina. W 1758 nowa twierdza odparła pięciotygodniowe pruskie oblężenie. W ciągu 32 dni Prusacy wystrzelili w kierunku twierdzy (i miasta) 103 tysiące kul armatnich z 143 armat, dział i moździerzy oraz ponad 25 tysięcy bomb i granatów o wadze od 10 do 103 kilogramów. Z tego okresu pochodzi ceglana brama Marii Teresy (Terezská brána) z płaskorzeźbami, zbudowana na podobieństwo antycznego łuku triumfalnego.
Po drugim pruskim oblężeniu rozpoczęto również budowę 21 fortów, które miały domknąć pierścień twierdzy wokół miasta.
W trakcie wojen napoleońskich w koszarach twierdzy był uwięziony markiz de Lafayette (w listopadzie 1794 zbiegł z kazamatów, jednak został szybko schwytany za rogatkami miasta i opuścił twierdzę w 1797 po zawarciu pokoju francusko-austriackiego).
W 1853 twierdza była miejscem największych manewrów wojskowych w historii Ołomuńca, a zarazem spotkania cesarza Franciszka Józefa I z carem rosyjskim Mikołajem I.