W 1957 zespół Piasta zadebiutował w II lidze, w której spędził łącznie 35 sezonów. W tym okresie największe sukcesy drużyna święciła w latach 1975–1983. Gliwiczanie należeli wówczas do drugoligowej czołówki i kilka razy (1976, 1977, 1981) byli blisko awansu do najwyższej klasy rozgrywkowej. Ponadto piłkarze Piasta dwukrotnie (1978, 1983) docierali do finału Pucharu Polski, dwukrotnie jednak przegrywając, za pierwszym razem z Zagłębiem Sosnowiec 0:2, a za drugim z Lechią Gdańsk 1:2. Przemiany ustrojowe skomplikowały sytuację organizacyjno-finansową klubu, wskutek czego wiosną 1993 roku Piast Gliwice wycofał piłkarską drużynę seniorów z rozgrywek. Reaktywacja nastąpiła dopiero w 1997 r., kiedy w B-klasie gliwicki klub ponownie wystawił drużynę seniorską.
24 maja 2008 r. Piast wywalczył po 63 latach istnienia historyczny awans do Ekstraklasy po wyjazdowym zwycięstwie 1:0 z Polonią WarszawaII liga na www.90minut.. 9 sierpnia 2008 r. Piast wygrał pierwszy historyczny mecz w Ekstraklasie z Cracovią 2-0. Mecz rozegrany był na stadionie w Wodzisławiu Śląskim. Premierowy sezon zakończył na 11. miejscu.
Z awansem wiązały się konsekwencje organizacyjne: Piast stworzył latem 2009 spółkę akcyjną, w której miasto Gliwice objęło 51% udziałów, a klub 49%.