1 września 1934 roku wstąpił do SS, uzyskując numer członkowski 292 776.
Członkostwo w SS znacznie przyspieszyło karierę partyjną Globocnika. Reinhard Heydrich powierzył mu zadanie rozbudowy Służby Specjalnej Okręgu Karyntia (Sonderdienst der Gauleitung) i jej zintegrowania ze strukturami SS. Globocnik był zaangażowany w szereg nielegalnych przedsięwzięć: pomoc poszukiwanym nazistom w ucieczce z Austrii, przemyt broni, ładunków wybuchowych i materiałów propagandowych, organizowanie funduszy na działalność nazistowską. Członkowie podległych mu struktur SS skutecznie infiltrowali austriacki aparat państwowy. W związku ze swą podziemną działalnością wielokrotnie podróżował do Niemiec. Posługiwał się około 20–30 pseudonimami. W grudniu 1934 roku został aresztowany przez austriacką policję. Szeroko zakrojone śledztwo pozwoliło udowodnić mu zdradę stanu i doprowadziło do wymierzenia mu kary sześciu miesięcy pozbawienia wolności. Nie wiadomo, czy odsiedział cały wyrok. Po wyjściu z więzienia powrócił do działalności konspiracyjnej.