Kazimierz Jagiellończyk został ochrzczony 21 grudnia 1427. Imię odziedziczył po starszym bracie Kazimierzu, który urodził się i zmarł w 1426. Na urodziny przyszłego króla biskup Stanisław Ciołek dokomponował do utworu Mikołaja z Radomia panegiryczną kontrafakturę Hystorigraphi aciem mentis, opiewającą, oprócz nowo narodzonego Kazimierza, także parę królewską. Królewicz wychowywany był pod czujnym okiem matki i opiekunów, głównie podkanclerzego Wincentego Kota, oraz rycerza Piotra z Rytra. Znał języki polski i ruski. Ćwiczył tężyznę fizyczną; uwielbiał polowania, dlatego w późniejszych latach często wyjeżdżał na nie do litewskich puszcz. Jako król często polował na żubry m.in. w Puszczy Grodzkiej i Puszczy Bielskiej, której pozostałości obecnie zaliczane są do Puszczy Białowieskiej.
Po śmierci Władysława Jagiełły w 1434 na tron polski wstąpił starszy brat Kazimierza, dziesięcioletni Władysław. Opiekę nad małoletnimi synami zmarłego króla sprawował biskup krakowski, Zbigniew Oleśnicki, niechętny wobec młodszego Kazimierza i sprawujący w latach małoletniości króla faktyczną władzę w Królestwie.