W latach 1414–1433, przez cały okres swojego panowania, rezydował w zamku książę Kazimierz I, syn Przemysława.
W 1453 zamek przetrwał oblężenie byłego właściciela Jana IV, który nie mogąc się pogodzić z utratą rezydencji, dążył do jego odzyskania.
W 1454 zamek wraz z księstwem oświęcimskim został oddany w hołd Kazimierzowi Jagiellończykowi, a trzy lata później 21 lutego sprzedany. Ponieważ król nabył lenna czeskie, musiał porozumieć się z królem Czech co do statusu tych włości. Na mocy traktatu głogowskiego (1462) zamek, jako część ziemi oświęcimsko-zatorskiej, stał się częścią Korony. Pierwszym kasztelanem został Mikołaj Słop. Król otoczył nowy nabytek, położony w sąsiedztwie Śląska, szczególną troską. Polecił odrestaurować zamek i mury miasta, umocnić system obronny i pogłębić fosy. Prace sfinansowali mieszkańcy ziemi oświęcimskiej i krakowskiej jednorazową dobrowolną daniną.