Z kolei od 1383 roku (lub na krótko przed tą datą) na zamku rezydował starosta okręgowy, któremu podlegał raciborski okręg zamkowy. Stanowisko to funkcjonowało do roku 1743. Za rządów Przemyślidów opawskich Racibórz stracił na znaczeniu, a granice księstwa znacznie się skurczyły. W 1416 roku kolegiata została przeniesiona do kościoła Wniebowzięcia Najświętszej Maryi Panny w Raciborzu.
XVI wiek Od XVI wieku gród był własnością króla Czech, a następnie rodów szlacheckich. W 1521 roku po śmierci księcia opawsko-raciborskiego Walentyna zwanego Garbatym panowanie na zamku objął książę opolski Jan II Dobry. W 1532 roku po śmierci księcia Jana Dobrego Racibórz przeszedł w ręce króla czeskiego Ferdynanda Habsburga. W tym samym roku wzmiankowane było istnienie browaru przy zamku. Niedługo później znalazł się w rękach margrabiego Jerzego Hohenzollerna jako zastaw na poczet wierzytelności w kwocie 200 tys. guldenów roszczonych wobec praskiego dworu. W latach 1532–1533 odnowił on zniszczone zabudowania zamkowe. Zyski jakie uzyskał z dóbr raciborskich przeznaczył na budowę zamku w Roth pod Norymbergą, który dzisiaj nosi nazwę Ratibor. Margrabia szerzył w tych czasach luteranizm w księstwie raciborskim.