Kiszce pomogła wieść, iż pod Smoleńsk nadchodzi odsiecz pod dowództwem Czecha Jana Czernego i kasztelana trockiego Stanisława Białego.
W 1502 Dymitr oblegał powtórnie Smoleńsk, który bronił się pod wodzą Kiszki przez trzy miesiące. Wojewoda dysponował siłą 800 żołnierzy piechoty zaciężnej i miejscowej szlachty. Dymitr stracił 6 tys. ludzi w szturmach i musiał przerwać oblężenie 23 października 1502. W maju 1503 Kiszka rozbił za Horodkiem nad Prypecią wojsko złożone z 3 tys. Tatarów.
W 1505 przeszedł do opozycji przeciwko Michałowi Glińskiemu. Gliński namawiał potem króla Aleksandra, by zgładził w Brześciu Kiszkę. Obronił go Jan Łaski, który wystąpił ostro przeciw tym zamiarom. Podpisał konstytucję Nihil novi na sejmie w Radomiu w 1505 rokuVolumina Legum, t. I. Petersburg 1859, s. 140.. W 1506 Kiszka ruszył z 10 tys. wojska pod Kleckiem przeciwko 30 tys. Tatarów Betyego i Burnusza Girejów. Złożony chorobą przesiedział bitwę w powozie i sława zwycięstwa kleckiego przypadła kniaziowi Michałowi Glińskiemu. Po odkryciu zdrady Glińskiego Kiszka został hetmanem wielkim i razem z marszałkiem Janem Zabrzezińskim i biskupem łuckim Wojciechem posłował do panów rad koronnych na sejm elekcyjny w Piotrkowie (listopad 1506).