Legnickie Pole), potem przeniósł się do Głównej Szkoły Kadetów w Lichterfelde w Berlinie.
W czasie I wojny światowej Pannwitz walczył jako 16-letni podporucznik i później rotmistrz kawalerii niemieckiej na różnych frontach i otrzymał przed 19 rokiem życia obie klasy Żelaznego Krzyża. Po klęsce Niemiec powrócił na Górny Śląsk i wziął udział w roku 1919 i 1921 w walkach Freikorpsów przeciwko polskim powstańcom śląskim. Za zasługi w tej wojnie otrzymał (nieoficjalny) Order Orła Śląskiego I Klasy (Schlesischer Adlerorden). W tych latach rodzinny majątek został sprzedany i rozparcelowany (nie był zresztą własnością Pannwitzów, był przez nich od paru pokoleń dzierżawiony). Po zakończeniu walk Pannwitz, który dobrze znał język polski, podjął pracę w Polsce w majątkach ziemskich radziwiłłowskich na Wołyniu, później pracował jako rządca u ks. Radziwiłłowej w Młochowie. W roku 1935 powrócił do Niemiec i wstąpił w stopniu rotmistrza do kawalerii Wehrmachtu. W roku 1939 w stopniu majora brał udział w inwazji niemieckiej na Polskę a w 1940 w agresji na Francję.