Brześć został wkrótce opanowany przez Światosława Mścisławowicza, siostrzeńca Kazimierza, który jednak został w 1182 wygnany z grodu, w związku z czym poprosił o pomoc krewniaka, który pokonał odsiecz Wsiewołoda Wołyńskiego z Bełza i po 12 dniach oblężenia zdobył Brześć. Po otruciu Światosława, również dzięki interwencji Kazimierza w 1183 r., władcą Brześcia został brat Światosława – Roman halicki. Kazimierz ponownie na trwałe zajął Brześć w 1191 r. W 1220 miasto zostało częścią księstwa pińskiego.
W 1241 r. gród spalili Tatarzy.
Ziemie w widłach Bugu i Muchawca zajął po 1258 r. Wojsiełk, syn Mendoga. Przypuszczalnie to on zbudował wieżę obronną na planie czworokąta, która została rozebrana w latach 30. XIX wieku podczas rozbudowy nowożytnej twierdzy. W 1282 r. Brześć przyłączył ponownie do Polski książę Leszek Czarny.
Ponownie do Litwy przyłączył Brześć książę litewski Giedymin około 1320 r. W 1349 r., po dziewięciu dniach oblężenia, zdobył Kazimierz Wielki, jednak na mocy traktatu z 1351 r. Brześć wrócił do Litwy, co potwierdził też traktat z 1366. Zabudowania otaczające wieżę były w średniowieczu zdobywane kilkakrotnie przez Krzyżaków, m.in. w 1379 r. Po drugiej stronie rzeki rozbudowała się osada – później także ufortyfikowana.