Kontrowersyjny styl życia dalajlamy zaczął mu jednak z czasem przysparzać coraz większej liczby krytyków. Lhasang-chan zaczął rozprzestrzeniać plotki, jakoby Cangjang Gjaco był synem desiego, nie zaś inkarnacją Wielkiego Piątego. Aby zyskać poparcie w kręgach klasztornych poprosił o błogosławieństwo opatów Gandenu, Sery i Drepungu. Ci, skonfliktowani z Sangje Gjaco, udzielili mu żądanego wsparcia. Chan wysyłał też do Pekinu liczne raporty ukazujące w złym świetle VI Dalajlamę. Działania te przyniosły oczekiwany skutek. Kangxi wysłał doń jednego ze swych generałów, nakazał również sprowadzić Dalajlamę na dwór cesarski. Gdy w 1703 nominalnym desim został, bez wiedzy Lhasanga, Ngałang Rinczen, ten postanowił wykorzystać to jako pretekst i wkroczył z wojskiem do Tybetu. Pokonał oddziały wysłane przez Sangje Gjaco i w 1705 albo 1706 wkroczył do Lhasy. Następnie zajął Potalę i aresztował Cangjanga Gjaco, ogłaszając jednocześnie zdjęcie go z urzędu z powodu niewłaściwego prowadzenia sięEHŚ, op. cit. str. 152. Wierni Dalajlamie mnisi z klasztoru Drepung Loseling zorganizowali konsultacje z wyrocznią Neczung, pragnąc ostatecznie upewnić się co do autentyczności przetrzymywanej inkarnacji. Odpowiedź kutena była pozytywna, wobec czego kilka dni później kilkusetosobowa ekspedycja uwolniła VI Dalajlamę.