Namiastka obserwatorium funkcjonowała do 1849 i w tym samym roku Wieża Klesza została zwrócona miastu.
W 1851 wieża omal nie uległa unicestwieniu. Magistrat zaproponował sprzedaż dwóch zrujnowanych obiektów: Wieży Kleszej i Wieży Byczej, a radni miejscy wyrazili zgodę, z zastrzeżeniem że materiał pozyskany z rozbiórki Wieży Kleszej ma być przeznaczony na budowę kościoła gimnazjalnego. Wówczas jednak na drodze stanął miejski inspektor budowlany August Bertram i jego ekspertyza stanu wieży, w której nie uznał on wieży jako zrujnowanej, a przeciwnie – nadającej się do remontu. Ostatecznie w 1853 rząd przyznał rację Bertramowi zakazując magistratowi rozbiórki i nakazując jej naprawę. Magistrat w 1857 ponownie przyznał wieżę gimnazjum, ponieważ została uwzględniona w projekcie mającej powstać auli i kościoła gimnazjalnego. W 1858 wieża stała się ponownie własnością gimnazjum i od tej pory utrzymywana była w dobrym stanie technicznym. W latach 1861–1863 zbudowano przy wieży kościół gimnazjalny, który początkowo nie był połączony z wieżą i budynkiem głównym. Jednak jeszcze przed ukończeniem budowy kościoła zaczęto już planowanie dostawienie auli pomiędzy kościołem a budynkiem gimnazjum i Wieżą Kleszą.