Założenie miasta oraz budowę zamku obronnego legenda przypisuje Kazimierzowi Wielkiemu. Prawa miejskie zostały przyznane w pierwszej połowie XIV w. W 1406 r. Władysław Jagiełło dokonał lokacji miasta na prawach magdeburskich. Wytyczono rynek, ulice, wyznaczono działki pod budowę. Jedynie północną część rynku pozostawiono bez zabudowy. Dzięki temu rynek otwarty jest na farę i zamek. W 1501 r. Kazimierz Dolny został siedzibą starostwa. Zygmunt I Stary, zadłużony u Mikołaja Firleja, nadał w 1519 r. jemu i jego synowi Piotrowi dożywotni urząd starosty kazimierzowskiego. Kazimierz pozostawał we władaniu rodu Firlejów do 1644 r. W tym czasie przebudowany został zamek. Po pożarach w latach 1561 i 1585 spichlerze i domy mieszkalne zostały odbudowane przy wykorzystaniu skał wapiennych z okolicznych wzgórz. Firlejowie dbali także o uprzywilejowanie miasta w handlu zbożem spławianym Wisłą do Gdańska, który już wcześniej (od XVI do XVII w.) przyczyniał się do rozwoju miasta. Na handlu zbożem wyrosły kupieckie rody Przybyłów, Czarnotów, Celejów (przybyłych z Włoch). W 1628 r. na Wietrznej Górze osiedlili się franciszkanie, pobudowali klasztor i rozbudowali istniejący (od 1585) kościół.