Budowla otrzymała umieszczone na dachu kopuły obserwacyjne („postrzegalnie”), a wysokie sale na parterze przeznaczono na potrzeby Ogrodu Botanicznego (m.in. mieszkali tam jego dyrektorzy). W latach 1829–1833 znajdujący się po prawej stronie pałacu domek ogrodnika przebudowano na siedzibę kancelarii Ogrodu. Mieszczące się po lewej stronie dawne stajnie dworskie przekształcono natomiast na mieszkania dla służby ogrodowej. Kolejna przebudowa miała miejsce w 1859 r., kiedy to dawny pałac został uformowany w stylu klasycyzmu. Z okolic pałacu 1 kwietnia 1784 r. odbył się słynny wzlot balonu, zorganizowany przez J. Śniadeckiego i J. JaśkiewiczaAlicja Piekiełko-Zemanek, Egzotyczny ogród na Wesołej, Wydawnictwo Literackie, Kraków 1986.Marek Żukow-Karczewski, Pałace Krakowa. Dawny pałac Czartoryskich (Obserwatorium Astronomiczne), „Echo Krakowa”, 123 (13184) 1990..
Od połowy XIX wieku, głównie za sprawą botanika Józefa Warszewicza (1812-1866) podróżnika po Ameryce Środkowej i Południowej, zaczyna być rozwijana kolekcja roślin storczykowatych. Dzisiaj jest ona najstarszą i największą kolekcją tego typu w Polsce, z około 500 gatunkami.