Na ten okres przypada także chwilowy upadek miasta, gdy załamuje się, wskutek braku męskich potomków, ród Szydłowieckich.
Czasy Radziwiłłów W 1532 roku zmarł Mikołaj Szydłowiecki – ostatni z rodziny Szydłowieckich. Po śmierci w 1532 r. ostatnich Szydłowieckich, miasto jako wiano Elżbiety Szydłowiecczanki dostało się Radziwiłłom (1547) i pozostawało w rękach przedstawicieli tego rodu przez kilka stuleci. Właściciele odtąd tutaj nie rezydowali, jednak w XVI wieku dynamiczny rozwój miasta trwał – w 1550 roku przyznano miastu prawo do kolejnych dwóch jarmarków oraz zwolniono tutejszych kupców od opłat w całym kraju. W 1553 roku Mikołaj Radziwiłł Czarny uzyskał od cesarza Ferdynanda I Habsburga tytuł hrabiego na Szydłowcu, stąd dobra szydłowieckie określano odtąd mianem hrabstwa. Zaś folwark zamkowy nabył kolejne wsie oraz rozszerzył zwierzyniec. W latach 1602–1629 budowano na rynku ratusz miejski, który do dziś jest wizytówką miasta. W najstarszej (najbogatszej) części miasta, bogaci kupcy wybudowali wspaniałe kamienice z attykami i podcieniami.