W północnej części parteru wybudowano wkrótce kaplicę, która w 1789 r. dedykowana została św. metropolicie Aleksemu. Po remoncie w 1823 r. została dedykowana trzem moskiewskim hierarchom: wspomnianemu już Aleksemu, Piotrowi i Jonaszowi. Kaplica ta w tej postaci i tym miejscu została zlikwidowana ostatecznie w latach sześćdziesiątych XIX wieku. W 1868 r. doszło do kolejnej rozbudowy świątyni. Dolny kościół zyskał dwie nowe kaplice, po północnej i południowej stronie, które zostały konsekrowane w 1869 r. Pierwsza z nich otrzymała za patrona św. Michała Archanioła, a druga ponownie trzech wspomnianych moskiewskich hierarchów. Budynek wieńczyła wieża ze złotą iglicą. Wskazywano na podobieństwo w stylu do petersburskiego soboru Pietropawłowskiego, na którym to konstrukcja miała się wzorować. Całość otoczona była żelaznym parkanem umieszczonym na granitowej podmurówce.