Po kasacie zakonu jezuitów w 1780 Wieża Klesza jako integralna część kompleksu uczelni wchodzi w skład utworzonego Gimnazjum Akademickiego, a od 1818 Liceum Hosianum. Piwnica wieży służyła przez pewien czas za więzienie: w XIX w. widoczne były wyryte na jej ścianach nazwiska więźniów. Wieloletni wykładowca i rektor Liceum Hosianum prof. Joseph Bender (1815–1893) w nieopublikowanym rękopisie spisał wyryte nazwiska, zakładając, że należały do przebywających tam uwięzionych.
W 1834 wykonano okna oraz elewację z gzymsem wieńczącym, a także przebito wejście na parterze od północno-wschodniej strony do gimnazjum. W tym samym roku rozpoczęło działalność w wieży obserwatorium astronomiczno-meteorologiczne, którego pomysłodawcą był wybitny nauczyciel Hosianum prof. Wawrzyniec Feldt (1796–1882). Obserwatorium to funkcjonowało zaledwie przez 15 lat, ale zdążyło się trwale zapisać w historii astronomii. 7 lutego 1835 Feldt stwierdził podczas prowadzonych tu obserwacji wpływ Słońca na magnetyzm ZiemiErnest Świerczewski, Mniej znana historia astronomii na Warmii. Zorza nad Braniewem w: Nowiny Północne nr 6/2020. Mimo obietnic niezbędnych środków ze strony królewskiego ministerstwa władze pruskie nie wsparły projektu profesora Feldta.