Siostry zakonne wprowadziły się tam wraz z 15 podopiecznymi (sierotami) miesiąc po zakupieniu posiadłości 7 czerwca 1659 roku. Początkowo budynki klasztoru były drewniane. Z czasem tereny należące do zgromadzenia poszerzały się dzięki prywatnym zapisom możnych – szczególnie kardynała Michała Radziejowskiego oraz biskupa Mikołaja Święcickiego i księdza Michała Bartłomieja Tarłę (wizytatora). Zapisy te umożliwiły w roku 1697 zastąpienie drewnianego budynku nowym, murowanym. W 1699 roku rozpoczęto budowę murowanego klasztoru i świątyni pod wezwaniem św. Kazimierza. 9 lipca 1699 roku zakończono budowę domu murowanego. Umieszczono również kaplicę jednonawową z murowanym ołtarzem i obrazem św. Kazimierza (także patrona domu).
W 1677 roku wybuchła w kraju zaraza morowa, na którą umierała ludność stolicy. Szarytki umieściły wtedy w odosobnionych barakach około 4000 chorych.
Do zespołu klasztornego na Tamce zaliczany jest klasztor wraz z kościołem. Na teren zakładu można wejść przez XIX-wieczną bramę. Znajdują się tam m.in. barokowy spichrz z końca XVII wieku, oficyna zwana kapelanią z 1895 roku oraz dom wychowanic zakładu św. Kazimierza z 1859 roku.
W roku 2017 Rada m.st. Warszawy nadała przejściu prowadzącemu od ul.