Stopniowo jednak młody książę uwolnił się spod wpływów swojego doradcy Jana Gasztołda, który zdobył wysoką pozycję w państwie i w celu przejęcia władzy na Litwie szukał sprzymierzeńców wśród wrogo nastawionych do księcia rodów.
W latach 1440–1441 Jagiellończyk poskromił bunt pospólstwa (tzw. „czarnych ludzi”) w Smoleńsku i mianował namiestnikiem smoleńskim Andrzeja Sakowicza. Na początku rządów książę uznał autonomię w zakresie administracji i sądownictwa Żmudzi, która pod przywództwem Dowmonta, zwolennika Michajłuszki, wykazywała dążenia separatystyczne. Na mocy postanowienia Jagiellończyka Żmudź miała być traktowana na równi z województwami wileńskim i trockim.
Po 1440 Polska i Litwa rościły pretensje do Podlasia. W 1444 Jagiellończyk zażegnał spór Litwy z Mazowszem o ziemię drohicką na Podlasiu. Odkupił prawa do tej ziemi od księcia Bolesława IV mazowieckiego za 6 tysięcy kop groszy praskich, nie dopuszczając tym samym do wojny z Polską, która mogła wybuchnąć pod pretekstem obrony praw podległego jej Mazowsza. Dzięki sukcesowi w tym sporze wzrósł autorytet Kazimierza wśród bojarstwa litewskiego.