Zamek powstały w czasach panowania Władysława Jagiełły zbudowano na obrzażach miasta, oddzielając się od niego parkanem, a z drugiej strony, od północy, zabezpieczała go rzeka Rakutówka i bagna. Walory obronne założenia nie były wielkie, a nazwa zamek jest używana nieco na wyrost. W jego obrębie stało kilka drewnianych budynków, z których największy był kancelarią grodzką i mieszkaniem podstarościego. Między 1414 a 1430 rokiem 7 razy przebywał na zamku w Kowalu król Władysław Jagiełło. W 1420 roku na zamku zarządzanym przez starostę przebywał król Władysław Jagiełło i przyjmował tu oferujących mu koronę panów czeskich.
W XV wieku funkcjonował tu sąd grodzki, a w 1466 roku wzmiankowano kaplicę zamkową. Później zamek stał się siedzibą samodzielnego starostwa. Z 1536 r. pochodzi wzmianka o odbudowie spalonego zamku przez starostę. Na początku XVII wieku, po jednym z pożarów nastąpiła odbudowa i rozbudowa z inicjatywy starosty i marszałka nadwornego Andrzeja Przyjemskiego, który „zamek (...) znów a fundamentis wielkim kosztem i sumptem murować począł”. W XVII wieku wśród drewnianej zabudowy powstał jedyny murowany budynek z dwoma izbami.