W lipcu 1721 roku powrócił do Paryża i zgłosił się o pomoc do zarządu Towarzystwa Misji Zagranicznych. Zastał jednak swoich współbraci misjonarzy w trudnej sytuacji. Środowisko francuskich duchownych było pod presją i obarczone obawami. W archidiecezji paryskiej trwały wówczas czystki na stanowiskach w hierarchii kościelnej. Prześladowano kler sprzyjający jansenizmowi i apelantom. Brak wcześniejszego podporządkowania się dokumentom papieskim Unigenitus i Pastoralis Officii nie pozwalały suspendowanemu Varletowi na szybkie załatwienie jego sprawy i znalezienie odpowiednio wpływowych obrońców. Obawiając się aresztowania w Paryżu i chcąc pozostać w ukryciu Varlet udał się do Régennes, gdzie przebywał incognito kilka miesięcy na dworze projansenistycznego biskupa Auxerre, Charlesa de Caylus.
W 1722 roku na zaproszenie księdza Jacoba Krijsa, Varlet wyjechał do Republiki Zjednoczonych Prowincji. Zamieszkał w domu kupca Arnolda de Brigode Dubois w Amsterdamie, skąd podjął się swojej obrony i korespondencji z Kongregacją Rozkrzewiania Wiary.