Dodatkowo na dachu wznosiła się niewielka wieża (sygnaturka).
Klasztor z kolei wybudowano nieco później, w latach 1757–75 według projektu Jerzego de Kawe, a ufundowanego przez kolejnego ordynata, Jana Jakuba Zamoyskiego. Jest połączony z kościołem od wschodu, składa się z trzech skrzydeł (bez zachodniego) i dwóch kondygnacji. Wewnątrz klasztoru znajdowały się cele (w skrzydle przykościelnym), rezydencje oraz pomieszczenia gospodarcze.
Po pierwszym rozbiorze Polski i zajęciu miasta przez Austrię, podobnie jak w przypadku wielu innych budynków sakralnych, budynki zostały przeznaczone do innych funkcji. W roku 1782 klasztor klarysek zamknięto (kasata zakonu), po czym na krótki okres budynek przejęli franciszkanie (do 1791 r.), a po nich siostry szarytki (do 1812 r.). W 1812 r. zamknięto również kościół, zaś w 1817 r., po przejęciu całego zespołu kościoła i klasztoru przez wojsko (już pod panowaniem Rosji), był on wykorzystywany głównie na jego potrzeby, tj. jako magazyn, stajnia, koszary, w późniejszych latach jako szpital wojskowy (lazaret).
W wyglądzie największe zmiany objęły kościół, który zupełnie utracił swój sakralny charakter – ok. 1820 r. rozebrane zostały szczyty i sygnaturka, a nawę podzielono na dwie kondygnacje (podobnie jak w kościele franciszkanów).