Muzyka Rautavaara był pracowitym i płodnym kompozytorem, piszącym w wielu stylach i gatunkach. Stworzył ponad 150 kompozycji. Główną częścią jego spuścizny są symfonie (8) i koncerty (14). Tworzył też muzykę kameralną: kwartety smyczkowe, duety na gitarę i głos i wiele innych. W jego dorobku znajdują się też opery, często biograficzne – „Tomasz” (Thomas), Vincent czy Aleksis Kivi oraz czerpiące z fińskiego eposu Kalevala – „Mit o Sampo” (Sammon ryöstö) czy „Marjatta, skromna dziewczyna” (Marjatta matala neiti). Rautavaara uznawany jest za najwybitniejszego fińskiego kompozytora po Jeanie Sibeliusie. Jego twórczość można podzielić na kilka okresów:
Lata 60. XX wieku Wczesne kompozycje Rautavaary były otwarcie modernistyczne, często wykorzystywały technikę 12-tonową. Wraz z Erikiem Bergmanem, Rautavaara był pionierem muzyki serialnej w Finlandii. Symfonia Nr 3 z 1961 roku jest najprawdopodobniej pierwszym w całości serialnym utworem fińskim. Z wczesnego okresu pochodzi wiele dzieł fortepianowych, zwłaszcza sonat. Innymi ważnymi pracami stworzonymi w tym czasie są Symfonia Nr 4, a także pierwsza opera Rautavaary – Kaivos (pol. „Kopalnia”), której libretto – napisane również przez kompozytora – powstało z inspiracji opowiadaniami węgierskich emigrantów, którzy uciekli do Szwajcarii po upadku powstania węgierskiego w 1956 roku.