Callery musiał pozostać w Makau, gdzie poświęcił się studiom sinologicznym i przyrodniczym, przygotowując sobie karierę po porzuceniu stanu duchownego (jego powołanie wyraźnie osłabło, co nie uszło uwagi jego przełożonym). Czas podróży misyjnej na Filipiny w 1839 roku poświęcił niemal wyłącznie na zbieranie okazów roślin i kwiatów, które wysyłał następnie odpłatnie europejskim muzeom. W świecie sinologicznym zwrócił uwagę wydanym w 1841 roku dwutomowym dziełem Systema phoneticum scripturae sinicae (podpisanym francuską wersją imienia i nazwiska, Joseph-Marie Callery).
W tym też okresie zaczął współpracować z francuskim konsulatem jako tłumacz. W 1842 roku wrócił do Paryża, planując zebrać pieniądze na wydanie wielkiego słownika chińskiego w 20 tomach; by zdobyć fundusze, wydał fragmenty dzieła po francusku i angielsku (odpowiednio Dictionnaire encyclopédique de la langue chinoise i The Encyclopedia of the Chinese Language, oba w 1842). W tym też roku wystąpił z Towarzystwa Misji Zagranicznych. Nie udało mu się zebrać potrzebnej kwoty, ale jego dzieła zwróciły uwagę na tyle, że został zatrudniony jako etatowy tłumacz konsulatu francuskiego i w tym charakterze wrócił do Makau w 1843 roku. W roku następnym był głównym tłumaczem nadzwyczajnego poselstwa przy rządzie chińskim, na którego czele stał .