W 1866 powrócił do kraju. Jako pianista-solista oraz kameralista występował w latach 1858–1889 w Warszawie, ponadto w Żytomierzu, Kaliszu, Krakowie, Lwowie, Lublinie, Szczawnicy, Iwoniczu. W 1862 i 1864 występował w Paryżu zyskując uznanie. Był również m.in. w Odessie i Kijowie. W repertuarze Kleczyńskiego znajdowały się dzieła Bacha, Beethovena, Chopina, Hummla, Liszta, Mendelssohna, Saint-Saënsa, Schumanna, Webera oraz kompozycje własne.
Od 1881 udzielał prywatnych lekcji gry na fortepianie. W latach 1887–1890 prowadził klasę fortepianu w Instytucie Muzycznym w Warszawie. Był jednym z założycieli Warszawskiego Towarzystwa Muzycznego, w którym w latach 1875–1877 pełnił funkcję sekretarza, a 1877–78 dyrektora muzycznego. Kompozycje Kleczyńskiego były wykonywane podczas organizowanych przez niego wieczorów muzycznych WTM, a także w Pradze (1880, 1887), Krakowie (1884, 1885), Lwowie (1885), Poznaniu (1904) i innych miastach. Pełnił kilka funkcji w redakcji "Echa Muzycznego": był redaktorem naczelnym (1880-1895), kierownikiem działu muzycznego i głównym recenzentem. Od 1 października 1883 tytuł pisma został zmieniony na „Echo Muzyczne i Teatralne” (EMT), a od 1885 – „Echo Muzyczne, Teatralne i Artystyczne” (EMTA). W Resursie Obywatelskiej Kleczyński wygłaszał odczyty o Chopinie (1879 i 1883).