Zhongnanhai otoczone jest murem i oddzielone jest od Jeziora Beihai mostem z białego marmuru, przez który przebiega ulica Wenjin. Jeziora zasilane są wodą z rzeki wypływającej ze zboczy góry Yuquan Shan.
Historia Obszar Zhongnanhai był wykorzystywany przez cesarzy już w okresie dynastii Liao. Za rządów dynastii Yuan Zhongnanhai zostało włączone do Cesarskiego Miasta, a jeziora zostały powiększone.
Kiedy cesarz Yongle przebudowywał Pałac Cesarski w 1417 roku, powiększył obszar swojej rezydencji, włączając przy tym ogrody Zhongnanhai. W czasach dynastii Ming i Qing teren stał się znany jako Zachodnie Ogrody (Xiyuan) i służył mieszkańcom pałacu jako miejsce wypoczynku. Za panowania dynastii Qing przeprowadzono odnowę parku. Większość budynków i zabytków, które zachowały się do dzisiaj pochodzi z tego okresu.
Po upadku dynastii Qing w 1911 roku, Zhongnanhai zostało siedzibą rządu Yuana Shikai. Po 1949 roku stało się pilnie strzeżonym kompleksem rządowym. Po 1989 roku na terenie Zhongnanhai przetrzymywano w areszcie domowym Zhao Ziyanga, szefa partii, który sprzeciwił się planom zbrojnej rozprawy ze studenckimi protestami na placu Tian’anmen w czerwcu 1989 roku. 25 kwietnia 1999 roku przed wejściem do Zhongnanhai manifestowało 10 tys.