https://archive.ph/20130416104941/http://www.kresy.pl/kresopedia,geografia?zobacz/zytomierz został przyłączony przez Giedymina do Wielkiego Księstwa Litewskiego.
W I Rzeczypospolitej W 1444 roku król Polski Kazimierz Jagiellończyk nadał Żytomierzowi prawa miejskie i wybudowano wówczas niewielki zamek. Miasto zostało zniszczone przez Tatarów w 1469 i 1481 roku. Podczas najazdu chana krymskiego Mengli Gireja w 1482 roku zamek żytomierski pozostał jednym z czterech niezdobytych na Naddnieprzu (obok Bracławia, Kaniowa i Czerkas). Warownię rozbudowano po 1540 roku według projektu starosty Szymona Babińskiego. W 1544 roku sejm piotrkowski zwolnił mieszczan żytomierskich z podatków w celu odbudowy obwarowań. W 1569 roku wraz z całą południową częścią Wielkiego Księstwa Litewskiego Żytomierz wszedł w skład Korony Królestwa Polskiego. Stał się siedzibą starostwa grodowego, sejmików i sądów szlacheckich: ziemskiego i grodzkiegoM. Pawlikowski, Sądownictwo grodzkie w przedrozbiorowej Rzeczypospolitej, Strzałków 2012, tenże, Sądownictwo ziemskie w przedrozbiorowej Rzeczypospolitej, Strzałków 2012.. W 1572 roku w mieście były 142 budynki, dwór starosty i zamek.