Do czasu wyboru do Bundestagu Ziemiak pracował dorywczo dla firmy świadczącej usługi doradcze i audytorskie PricewaterhouseCoopers w Düsseldorfie.
W 1999 wstąpił do Junge Union, młodzieżowej organizacji CDU, a w 2001 – także do samej CDU. W latach 1999–2001 był pierwszym przewodniczącym nowo utworzonego Parlamentu Dzieci i Młodzieży w Iserlohn. W 2002 został członkiem rady powiatowej Junge Union w powiecie Märkischer Kreis. W 2006 został wybrany do zarządu krajowego Junge Union w kraju związkowym Nadrenia Północna-Westfalia. W 2009 objął kierownictwo powiatowej organizacji Junge Union Południowej Westfalii. Od 2011 był przewodniczącym CDU Iserlohn i członkiem zarządu grupy radnych CDU w radzie miasta Iserlohn. Był również członkiem powiatowego komitetu wykonawczego CDU Południowej Westfalii. W dniu 25 listopada 2012 Ziemiak został wybrany na przewodniczącego Junge Union w najludniejszym niemieckim landzie, Nadrenii Północnej-Westfalii, i sprawował ten urząd do 15 listopada 2014.