Działalność polityczna W okresie powojennym aktywnie zaangażował się w działalność Partii Demokratycznej. W 1946 poprowadził pierwszą kampanię wyborczą, która zakończyła się jednak niepowodzeniem – Foster Furcolo przegrał wybory do Izby Reprezentantów. W 1948 Foster Furcolo ponownie powierzył mu kierowanie swoją kampanią wyborczą do tej izby i tym razem wygrał wybory do amerykańskiego federalnego parlamentu. Na początku lat 50. nawiązał bliską współpracę z Johnem F. Kennedym. Poprowadził jego kampanię wyborczą w 1952 do Senatu. W jej wyniku JFK pokonał różnicą około 70 tys. głosów dotychczasowego senator, Henry’ego Cabota Lodge’a, którego aktywnie wspierał Dwight Eisenhower. Do zwycięstwa przyczyniła się zastosowana przez Larry’ego O’Briena strategia angażowania licznych woluntariuszy pracujących na rzecz kandydata. W 1958 przy jego wsparciu John F. Kennedy uzyskał senacką reelekcję.
Był także jednym z głównych twórców kampanii wyborczej Johna F. Kennedy’ego, która doprowadziła do jego zwycięstwa w wyborach prezydenckich w 1960. Następnie do 1965 pełnił funkcję specjalnego asystenta ds. relacji z Kongresem. W 1964 został doradcą politycznym prezydenta Lyndona B. Johnsona.