W latach 1646–1649 wzniesiono również klasztor. Całe założenie powstało na południowych obrzeżach Wilna w pobliżu Baszty Okrągłej. Trwającą budowę kościoła przerwał najazd moskiewski i okupacja Wilna. Siostry karmelitanki opuściły miasto i powróciły dopiero w 1667. Budowa kościoła została wznowiona. W czerwcu 1692 biskup wileński Konstanty Kazimierz Brzostowski poświęcił kościół dedykowany św. Józefowi Oblubieńcowi i św. Teresie z Ávili, patronce i reformatorce karmelitanek.
W 1772, w chwili pierwszego rozbioru Polski, w klasztorze żyło 15 sióstr.
W ramach niszczenia struktur kościoła katolickiego na Litwie po stłumionym powstaniu styczniowym władze rosyjskie zarządziły w lutym 1865 kasatę klasztoru sióstr karmelitanek. Część zakonnic przeniosła się do wileńskich benedyktynek a część wyjechała do Krakowa, na Wesołą. Opuszczone zabudowania zostały wyburzone w latach 1876–1878 a na ich miejscu urządzono plac targowy, nazwany z czasem Bosaczki, na pamiątkę po karmelitankach bosych.
W miejscu, gdzie stał kościół urządzono skwer.