W maju 1864 Zimmermann został powołany na stanowisko miejskiego radcy budowlanego we Wrocławiu, które pełnił wpierw równolegle z Juliusem von Roux, a potem z Alexandrem Kaumannem. Zajmował się wszelkimi zadaniami publicznymi miasta dotyczącymi architektury, urbanistyki oraz instalacji podziemnych na lewym brzegu Odry. Projektował wówczas zarówno neogotyckie, jak i neorenesansowe budynki, później preferował neorenesans.
W 1872 Zimmermann opuścił posadę we Wrocławiu i udał się do Hamburga, by objąć tamtejsze stanowisko budowniczego miejskiego, zaproponowane mu w listopadzie 1871. Wakująca od śmierci Carla Ludwiga Wimmela posada w tym większym od Wrocławia mieście była bardziej prestiżowa. W ciągu przeszło trzydziestu lat działalności w Hamburgu wywarł wielki wpływ na architektoniczny obraz budynków użyteczności publicznej tego miasta. Około roku 1900 siedemdziesięcioletni architekt wycofał się z aktywnej działalności projektowej, ograniczając się do nadzorowania młodszych współpracowników, wśród których wyróżniał się Albert Erbe, późniejszy budowniczy miejski Essen. W 1908 przeszedł na emeryturę (jego następcą został dopiero w 1909 Fritz Schumacher) i osiedlił się na przedmieściach Hamburga.