Callaghan szybko piął się w hierarchii związkowej, co zwróciło na niego uwagę Harolda Laskiego, przewodniczącego Narodowego Komitetu Wykonawczego Partii Pracy, który zaproponował Callaghanowi start w wyborach do Izby Gmin. Tymczasem jednak wybuchła II wojna światowa i Callaghan zaciągnął się do Royal Navy, gdzie dosłużył się stopnia porucznika. Podczas zdawania egzaminów na ten stopień okazało się, że cierpi na gruźlicę. Został więc wycofany z czynnej służby, a po kuracji w Royal Naval Hospital Haslar w Gosport przydzielono go do pracy w Admiralicji, gdzie pracował w sekcji japońskiej. W 1945 r. został przydzielony do Floty Indyjskiej i służył na HMS „Queen Elizabeth”.
Przed wyruszeniem na Ocean Indyjski Callaghan został wybrany laburzystowskim kandydatem w okręgu Cardiff South. Nominację zapewnił sobie niewielką większością – uzyskał 12 głosów, podczas gdy jego konkurent, George Thomas, zdobył 11 głosów. Po zakończeniu wojny w Europie, jako kandydat do parlamentu, powrócił do Wielkiej Brytanii. Wybory odbyły się 26 lipca 1945 r. i przyniosły zwycięstwo laburzystom. Callaghan również wygrał wybory w swoim okręgu pokonując konserwatystę Arthura Evansa większością 6000 głosów. Callaghan reprezentował okręgi wyborcze z Cardiff do końca swojej kariery parlamentarnej w 1987 r. Po likwidacji okręgu Cardiff South w 1950 r.