W 1354 r. Hilpoltstein otrzymał prawa miejskie. Dwa lata później Schweiger von Gundelfingen sprzedał zamek i miasto Hilpoltstein książętom Wittelsbachom, władcom księstwa Bawarii-Landshut; po podziale księstwa w 1392 r. Hilpoltstein stał się częścią księstwa Bawarii-Ingolstadt. W tym samym 1392 r. książę Stefan III potwierdził prawa miejskie.
W 1447 r. miasto i zamek wróciły w skład księstwa Bawarii-Landshut. Książę Ludwik IX Bogaty zbudował w 1473 roku w Hilpoltstein kościół i spichlerze (niem. Traidkasten lub Hofkasten) przy zamku, które obecnie służą m.in. jako pensjonat. Po wojnie o sukcesję w Landshut w 1505 roku Hilpoltstein został włączony do księstwa Palatynatu-Neuburga. W 1542 roku Hilpoltstein wraz z sąsiednimi miastami Heideck i Allersberg został na 36 lat oddany Wolnemu Cesarskiemu Miastu Norymberdze.
Książę Filip Ludwik Wittelsbach wykupił urzędy Hilpoltstein, Heideck i Allersberg i zapisał je wraz z Sulzbach swojemu bratu, hrabiemu palatynowi Ottonowi Henrykowi Wittelsbachowi (niem. Ottheinrich II). Ten podarował zamek i miasto Hilpoltstein swojej żonie Dorothei Marii jako siedzibę wdowy. Po jego śmierci i renowacji zamku, owdowiała „znamienita hrabina palatynka” przybyła do Hilpoltstein w 1606 roku. Dziś wspomnienie tego wydarzenia jest okazją do corocznego festiwalu zamkowego.