W 1954 roku zespół wywalczył awans do Klasy B. 19 września doszło do wielkiej sensacji w meczu towarzyskim z I-ligową Gwardią Warszawa. Skazany na porażkę ZS Start rozgromił warszawski zespół aż 4:1!
W 1956 roku pod wodzą trenera Tadeusza Rusinowicza, byłego piłkarza Radomiaka Radom, ZS Start Iłża awansował do Klasy A i występował w niej do końca lat 50. W 1957 roku nowym prezesem został Stanisław Wasatko. Na prośbę 15 członków zarządu klubu, zmieniono jego nazwę, powracając do tradycji z 1922 roku. Od tej chwili klub nazywał się “Zrzeszenie Sportowe Start – Klub Sportowy Polonia w Iłży”
1960–1969 Lata sześćdziesiąte to jedne z najsłabszych w historii sekcji piłki nożnej Polonii Iłża. Zespół przez całe dziesięciolecie występował w klasie B, w kilku sezonach walcząc o awans, a w kilku innych o utrzymanie.
Jednakże iłżecka drużyna nie miała łatwego zadania, bowiem wówczas w klasie B grały takie zespoły jak: rezerwy KSZO Ostrowiec i Granatu Skarżysko, Powiślanka Lipsko, Orzeł Wierzbica, Stal Kunów czy Wisła Sandomierz.
O wiele lepiej niż pierwsza drużyna, radzili sobie juniorzy Polonii Iłża. W sezonie 1967/68 zajęli w swojej lidze 1. miejsce i zagrali w barażach o awans z LZS-em Bodzechów.