Kariera reprezentacyjna W reprezentacji Irlandii O’Leary zadebiutował 8 września 1976 roku w zremisowanym 1:1 pojedynku z Anglią. Dla drużyny narodowej rozegrał łącznie 68 spotkań i strzelił jednego gola (13 listopada 1991 roku w meczu przeciwko Turcji). Wystąpił między innymi na Mistrzostwach Świata 1990, na których Irlandczycy dotarli do ćwierćfinału.
Kariera trenerska O’Leary po zakończeniu kariery został trenerem. We wrześniu 1996 został asystentem szkoleniowca Leeds – George’a Grahama. Następnie Graham przyjął ofertę z Tottenhamu Hotspur, a O’Leary został pierwszym trenerem „Pawi”. Za jego kadencji Leeds nigdy nie zajmowało w końcowej tabeli ligowej gorszego miejsca niż piąte, bardzo dobrze prezentowało się także w europejskich pucharach. „The Peacocks” dotarli między innymi do półfinału Pucharu UEFA oraz Ligi Mistrzów. Irlandczyk na Elland Road sprowadził wielu młodych i perspektywicznych piłkarzy, których stopniowo wprowadzał do pierwszego zespołu. O’Leary prowadził Leeds przez pięć lat. Z klubu odszedł w 2002 roku. W 2003 roku przyjął ofertę Aston Villi. Został zwolniony trzy lata później z powodu fatalnych wyników ekipy „Lwów”. 4 lipca 2010 roku został trenerem grającego w Zjednoczonych Emiratach Arabskich klubu Al-Ahli Dubaj.