Stanowisko szefa partii w Szanghaju zachował do 2002, natomiast w gabinecie burmistrza w 1995 zastąpił go Xu Kuangdi.

W 2002 został promowany w skład najwyższych władz Komunistycznej Partii Chin – Stałego Komitetu Biura Politycznego. W oficjalnej hierarchii przywódców państwowych i partyjnych zajmował 6. miejsce. W 2003 objął stanowisko wicepremiera w Radzie Państwa (rządzie), gdzie zajmował się m.in. reformą finansów publicznych i systemu bankowego. Był określany jako członek tzw. „kliki z Szanghaju”, obok m.in. Wu Bangguo, grupy lojalnej przede wszystkim wobec byłego przywódcy Chin Jiang Zemina. Nie zaliczał się do popularnych polityków chińskich, na XVI kongresie partii w 2002 uzyskał najmniej głosów spośród członków Stałego Komitetu Biura Politycznego; jego pozycję osłabiały afery korupcyjne, w które zamieszani byli jego dawni współpracownicy z Szanghaju, m.in. jeden z następców na stanowiskach burmistrza i szefa miejskiej organizacji partyjnej Chen Liangyu, a także sprawy rodzinne – z krytyką rywali politycznych spotkało się małżeństwo jego córki z synem protajwańskiego dziennikarza w San Francisco (1995). W ostatnich miesiącach życia dodatkowo znaczenie Huang Ju osłabił pogarszający się stan zdrowia.