Według ustaleń historyka ziemi prudnickiej, Eryka Murlowskiego, pod koniec stycznia 1291 dowództwo w warowni w Chrzelicach przejął rycerz Dirsco Staruncza, podwładny księcia Bolka I opolskiego. Pierwszy znany dokument wspominający osadę Chrzelice pochodzi z czerwca 1316. W kwietniu 1336 książę Bolesław II opolski zatwierdził i darował panom z Prószkowa dobra prószkowskie, do których należały także dobra chrzelickie, mimo że znajdowały się na ziemi prudnickiej.
Najstarsza wzmianka o zamku pochodzi z 9 sierpnia 1380 w zamku i dotyczy umowy sprzedaży jaką zawarł książę Henryk I niemodlińskiA. Weltzel, Historia miasta Prudnika na Górnym Śląsku (tłum. Geschichte der Stadt Neustadt in Oberschlesien, Neustadt 1870), Prudnik
2005, s.36.. Po raz kolejny zamek wzmiankowano w 1383 roku. W 1388 zamek w Chrzelicach wraz z majątkiem przeszedł na własność księcia Władysława Opolczyka. Powierzył on zarząd nad zamkiem Jerzemu II z Prószkowa. Po śmierci księcia Władysława, jego dobra na Śląsku przejęła wdowa po nim, księżna Eufemia mazowiecka.mały|lewo|Skrzydło wschodnie zamku (2020) Zamek w Chrzelicach przetrwał rejzy husytów na Śląsk na początku XV wieku. Doznał jednak uszczerbku w swoich umocnieniach.