Po śmierci Marii Kazimiery kompleks przeszedł na własność Jakuba Sobieskiego, a w 1738 stał się własnością Andrzeja Stanisława Załuskiego. Zimą tego roku Andrzej Stanisław Załuski i Józef Andrzej Załuski złożyli tu swoje księgozbiory, następnie w 1742 przeniesione do pałacu Daniłowiczowskiego (por. Biblioteka Załuskich).
W 1742 roku do Marywilu przeniesiono zarząd poczty, pocztamt i poczthalterię . Później kompleks został odkupiony od Andrzeja Stanisława Załuskiego przez Antoninę Zamoyską, która ok. 1745 oddała go na własność klasztorowi Panien Kanoniczek.
Do roku 1807 na terenie Marywilu zbudowano cztery nowe kamienice, a w latach 1817–1821 jego wschodnie skrzydło – od Pociejowa – przebudował Piotr Aigner dodając arkady po stronie domu Pod Kolumnami i siedmiokondygnacyjną wieżę z zegarem.
W 1819 nieruchomość zakupiło miasto. W tym samym roku Kanoniczki przeniosły swój klasztor i kościół do znajdującego się po przeciwnej stronie ul. Senatorskiej kościoła św. Andrzeja, który został wbudowany w bryłę nowego klasztoru przez Piotra Aignera.