Mantuę nawiedziła epidemia dżumy. Ówczesny władca, Franciszek I Gonzaga, uznał ustąpienie zarazy za łaskę otrzymaną przez wstawiennictwo Madonny i na tę pamiątkę rozkazał zbudować w miejscu dawnej kaplicy kościół poświęcony Maryi. Prace budowlane zostały powierzone architektowi Bartolino z Novary, który w tym samym czasie projektował w Mantui Castello di San Giorgio oraz zamek Estense w Ferrarze. Kościół zbudowano w stylu gotyku lombardzkiego, a jego budowa kosztowała 30000 skudów w złocie. W 1406 kościół został konsekrowany w obecności darczyńcy oraz biskupów Mantui i Cremony.
left|thumb|300px|Concorso dei MadonnariOd tego czasu liczba pielgrzymów odwiedzających to miejsce ciągle rosła. Już nie byli to tylko mieszkańcy okolicznych miejscowości, ale także przybysze z daleka. Byli wśród nich nawet cesarz Karol V Habsburg i papież Pius II. Sanktuarium otrzymywało też liczne darowizny, które sprawiły, że oryginalna struktura architektoniczna kościoła uległa licznym modyfikacjom. Począwszy od 1412 do końca XV w. zostały zbudowane: konwent, szkoła, oratorium i biblioteka. Niektóre z zamożnych rodzin mantuańskich ufundowały prywatne kaplice przylegające do konwentu lub też znajdujące się wewnątrz kościoła. Były to też miejsca pochówku członków tych rodzin. Nad rozbudową kościoła pracował też Giulio Romano.