Kariera trenerska Åge Hareide jeszcze w trakcie kariery piłkarskiej rozpoczął karierę trenerską. Dwukrotnie trenował FK Molde (1985–1991, 1993–1997), z którym zdobył dwukrotne wicemistrzostwo Norwegii (1987, 1995) oraz Puchar Norwegii 1994, po wygranej w finale 23 października 1994 roku na Ullevaal Stadion w Oslo 3:2 z Lyn Fotball, a w sezonie 1989 dotarł do finału rozgrywek, w którym przegrał rywalizację z FK Viking (2:2, 1:2).
Następnie w latach 1998–1999 był trenerem szwedzkiego IF Helsingborgs, z którym zdobył mistrzostwo (1999) i wicemistrzostwo Szwecji (1998) oraz Puchar Szwecji 1998.
W latach 2000–2002 trenował duński IF Brøndby, z którym zdobył mistrzostwo (2002) oraz dwukrotnie wicemistrzostwo Danii (2000, 2001)Jeppe Laursen Brock (2011), Brøndby IF : drengene fra Vestegnen, Gyldendal, Kopenhaga, ISBN 978-87-02-10258-1. .
Następnie wrócił do Norwegii, gdzie 1 stycznia 2003 roku został trenerem najlepszego norweskiego klubu w ostatnich latach, Rosenborga Trondheim, z którym w sezonie 2003 zdobył krajowy dublet: mistrzostwo i Puchar Norwegii.