W 1336 Koźle powróciło do księstwa bytomskiego – książę Władysław bytomski wydzielił wówczas tę dzielnicę najstarszemu synowi Kazimierzowi, a po jego śmierci w 1342 kolejnym księciem kozielskim został jego młodszy brat Bolesław bytomski.
W 1355 po śmierci księcia Bolesława bytomskiego księstwo bytomsko-kozielskie zostało podzielone pomiędzy najbliższych krewnych książąt i cieszyńskich. W okresie tych ciężkich sporów mieszczanie Koźla złożyli hołd lenny księżnej Beatrycze, córce zmarłego księcia Władysława Bytomskiego.
Ostatecznie Koźle z terenami okolicznymi przypadło książętom z linii Piastów oleśnickich – książę Konrad I oleśnicki.
Przed 1373 w Koźlu osiedlili się pierwsi Żydzi (zajmowali się działalnością kredytową). Najwcześniejsze zapiski o wsi Rogi pochodzą z 1339.
Przed 1431 wybudowano mury obronne miasta Koźla, z co najmniej czterema bramami. W mieście istniał kościół parafialny, kościół Bernardynów i ratusz. W 1431 wybudowano poza murami miejskimi klasztor Franciszkanów z kościołem.
Na przełomie XV-XVI wieku Koźle było ważnym ośrodkiem rzemiosła i handlu.