Anna Zebrzydowska, córka wojewody krakowskiego Michała, wyszła za mąż za Jana Karola Czartoryskiego (zm. 1680), a ten po ślubie przeniósł się z rodowego Korca na Wołyniu do województwa krakowskiego i tu piastował lokalne urzędy ziemskiehttp://mbc.malopolska.pl/Content/107696/rocznik_krakowski_2004_070.pdf. Kamienicę Szarą otrzymał w spadku syn z drugiego małżeństwa (z Heleną Konopacką) Józef Czartoryski, chorąży litewski, zmarły w 1750 r. Ostatnim z Czartoryskich związanym z kamienicą był Stanisław Kostka, łowczy wielki koronny, zmarły w 1766 r. Pałacowy charakter zrujnowanemu budynkowi przywróciła modernizacja przeprowadzona w latach pięćdziesiątych XVIII w. dla Stanisława Kostki Czartoryskiego. Prace budowlane prowadził, według „wcześniej wygotowanego abrysu”, magister Józef Chrzanowski (vel Krzanowski). Od ich zakończenia na początku lat sześćdziesiątych XVIII w. istotniejszych zmian w budynku już nie było, nawet podczas przebudowy w latach 1909-1912 dla rodziny Feintuchów.
W XVIII wieku w rękach rodziny Żeleńskich. W latach 1747–1772 mieszkał tutaj Marcin Oracewicz, a w 1787 Żeleńscy wydali obiad na cześć króla Stanisława Augusta Poniatowskiego.