Po śmierci Bolesława Krzywoustego i podziale dzielnicowym Polski w 1138 roku, Bytom pozostał w granicach dzielnicy senioralnej, która w 1146 roku przypadła Bolesławowi Kędzierzawemu. Nie później niż w 1170 roku ufundował on na wzgórzu Małgorzaty murowany kościół. mały|lewo|Kościół Wniebowzięcia NMP (Fara bytomska)
Ze względu na duże znaczenie strategiczne Bytom został prawdopodobnie już w drugiej połowie XII wieku siedzibą kasztelanii. Gród bytomski stanowił ośrodek terytorialnej kasztelanii, podobnie jak Siewierz, Toszek, Oświęcim i Koźle. Z tego względu była to najważniejsza miejscowość w okolicy. Jednakże polityka księcia raciborskiego Mieszka Plątonogiego, w którego władanie Bytom przeszedł w roku 1179 (od tego czasu Bytom przynależy administracyjnie do Górnego Śląska, a nie, jak wcześniej, do Małopolski).
W 1241 kasztelania bytomska została najechana przez Tatarów.
W roku 1254 książę opolsko-raciborski Władysław zezwolił na lokację na prawie magdeburskim miasta Bytomia, którą przeprowadził zasadźca Henryk. Od tego momentu dawny gród na wzgórzu Małgorzaty zaczął tracić znaczenie na rzecz rozwijającego się w pobliżu miasta.