Próby zdobycia grodu skończyły się fiaskiem, jednak wojska spaliły miasto, a Władysław musiał zapłacić 3 tysiące grzywien srebra.
Po śmierci księcia Władysława (1281/1282) zamek przypadł jego najmłodszemu synowi Przemysławowi. Za jego czasów zamek został przebudowany i powstało szereg murowanych budowli, m.in. kaplica zamkowa. W latach 1285–1287 w raciborskim grodzie rezydował biskup wrocławski, Tomasz II, który popadł w konflikt z księciem wrocławskim Henrykiem IV Probusem. W 1288 roku biskup wrocławski Tomasz II ufundował przy kaplicy zamkowej kapitułę kolegiacką, która była wyrazem wdzięczności za okazaną gościnność. Wydarzenie to zostało opisane przez Jana Długosza w Rocznikach czyli kronikach sławnego Królestwa Polskiego.
Na przełomie XII i XIII wieku warownia została przebudowana na zamek w stylu gotyckim. Wtedy też drewniana palisada na wałach została zastąpiona murem z basztami. Według badań archeologicznych pierwsze zabudowania ceglane mogą być datowane na II połowę XIII wieku. Około 1290 roku książę Przemysław raciborski zlecił wybudowanie gotyckiej kaplicy, która otrzymała wezwanie św. Tomasza Becketa. Okres świetności zamku przypadł na rządy księcia Przemysława i jego syna Leszka. Budowla była otoczona osadą rybaków, młynarzy i rzemieślników, która stała się zaczątkiem późniejszej gminy Ostróg.