Po podziale Górnego Śląska 3 września 1922 roku w referendum ludowym w rejencji opolskiej odrzucono koncepcję utworzenia odrębnego górnośląskiego kraju związkowego w granicach tzw. Republiki Weimarskiej, przy bezwzględnej i zdecydowanej agitacji przeciw tej koncepcji „za” oddano tylko 9% głosówMarek Masnyk, Ruch polski na Śląsku Opolskim w latach 1922–1939, Instytut Śląski w Opolu, 1989, s. 12.. Prowincja pozostała częścią kraju związkowego Prusy. Podział Górnego Śląska w 1922 roku spowodował utratę na rzecz Polski wschodnich powiatów lub ich części, które wraz z powiatami bielskim i cieszyńskim utworzyły autonomiczne województwo śląskie.
Od 1 czerwca 1926 roku do likwidacji w 1938 r. prowincja Górny Śląsk posiadała własny herb, zaprojektowany przez znanego niemieckiego heraldyka i grafika Otto Huppa. Herb (pole błękitne) symbolizował oderwanie części Górnego Śląska (uszczerbiony złoty orzeł bez ogona i szponów) oraz główne gałęzie gospodarki prowincji: rolnictwo (złote ostrze kosy) i górnictwo (złote pyrlik i żelazko).
W 1938 roku prowincja górnośląska została zlikwidowana, a jej teren włączono do odtworzonej prowincji Śląsk.