W 1924 poznał Irvinga Thalberga i podpisał pięcioletni kontrakt z wytwórnią Metro-Goldwyn-Mayer. W połowie dekady był idolem kinowym z kilkoma rówieśnikami, odnosząc szereg sukcesów w filmach, m.in. w dreszczowcu psychologicznym Victora Sjöströma Ten, którego biją po twarzy (He Who Gets Slapped, 1924), melodramacie Ericha von Stroheima Wesoła wdówka (1925) i dramacie wojennym Wielka parada (1925).
W 1926 po raz pierwszy spotkał się na planie filmowym z Gretą Garbo podczas kręcenia sceny na stacji kolejowej w melodramacie Clarence’a Browna Symfonia zmysłów (1926). Wkrótce pojawiły się pogłoski, że dwie gwiazdy mają romans, a kolejne filmy z ich udziałem, Anna Karenina (1927) i Władczyni miłości (1928), stały się tylko tego potwierdzeniem. Jednak po pogorszeniu się relacji Gilberta z Garbo powstał konflikt z potentatem studyjnym Louisem B. Mayerem, który doprowadził do zakończenia kariery Gilberta.