thumb|left|Widok elewacji południowej W okresie rozbicia dzielnicowego Rybnik stał się częścią najpierw księstwa raciborskiego, później opolsko-raciborskiego (1202-1290), potem ponownie księstwa raciborskiego. W tym czasie zamek składał się z kamienno-ceglanego domu wzniesionego na planie prostokąta o wymiarach 9,4 × 22,8 m wzmocnionego w narożach. Nadal otaczały go ziemne wały a dodatkowym walorem obronnym były rozlane wokół stawy. Zamek nie miał charakteru rezydencji, lecz był typową budowlą obronną ze stałą załogą zbrojną. W XIV wieku nastąpiła jego rozbudowa. Budynek został powiększony w kierunku wschodnim o 3m. W następnej kolejności całe założenie otoczono kamiennym murem. We wschodniej kurtynie umieszczono wjazd wzmocniony czworoboczną wieżą bramną.
Na przełomie XIV-XV w. zamek choć był własnością książąt raciborskich, wykorzystywali go także książęta cieszyńscy jako miejsce postojowe w razie wyjazdu do Bytomia, którego połowa należała wówczas do cieszyńskich Piastów. W 1428-35 w okolicy miasta miały miejsce walki prowadzone przez wojska husyckie. Miasto doznało wielkich zniszczeń, ale mieszkańcy znaleźli schronienie na zamku i z szybkiej odbudowy Rybnika należy wnioskować, że zamek się obronił. Odbudowane miasto zostało niedługo potem ponownie spalone i ograbione przez rycerzy-rabusiów.