Obecne II Liceum Ogólnokształcące powstało w 1948 roku, kiedy to zostało powołane liceum dla dziewcząt, lecz początki szkolnictwa przy ulicy B. Głowackiego sięgają początków XX wieku. W 1910 roku rozpoczęto budowę gmachu z przeznaczeniem dla szkolnictwa niższego przy ówczesnym Kleiststrasse (późniejsza ulica B. Głowackiego) w Katowicach – dla Volksschule I. Gmach został oddany do użytku w 1911 roku (bądź w 1913 roku). Jej patronem był niemiecki poeta Heinrich von Kleist, a rektorem mianowany został Josef Scholz.
Po przyłączeniu terenów wschodniej części Górnego Śląska do Polski, w 1922 roku w budynku obecnego liceum rozpoczęła działalność Publiczna Szkoła Powszechna Nr 2 im. Marii Konopnickiej. Jej pierwszym rektorem został Józef Cieślik. Jej działalność została zawieszona w czasie II wojny światowej i wznowiona w roku 1945. Otwarto wówczas Publiczną Szkołę Powszechna Nr 2 im. Marii, której kierownikiem został Emil Kujawski.