Historycznym jądrem miasta został tzw. „zamek miejski” (słow. mestský hrad), powstały w otoczeniu pierwotnego kościoła z kostnicą i cmentarzem. Mieściła się tu m.in. siedziba królewskiego zarządcy komory górniczej i menniczej (słow. komorský gróf). W XIV i XV w. powstał tu kompleks obronny otoczony podwójnym murem z basztami, którego centrum stał się wzniesiony w połowie XV w. kościół pw. św. Katarzyny. Samo miasto, usytuowane u podnóża „hradu”, zaczęło się formować od 1366 r., kiedy to wytyczony został charakterystyczny, pochyły rynek i działki zabudowy. W pierwszej połowie XV w. na polecenie króla Zygmunta miasto zostało otoczone niezależnymi murami obronnymi z czterema basztami i trzema bramami. W południowej, uboższej części dzisiejszej Kremnicy, już poza murami, w latach 1382–1393 zbudowano szpital, a wraz z nim szpitalny kościół pw. Św. Krzyża (obecnie św. Elżbiety).