Już od najmłodszych lat stosunki Varèse’a z ojcem były niezwykle wrogie i z czasem przeobraziły się w trwałą nienawiść. W latach osiemdziesiątych XIX wieku został odebrany dziadkowi przez swoich rodziców i w 1893 roku młody Edgar został zmuszony do przeniesienia się z nimi do Turynu we Włoszech. To właśnie tam pobierał swoje pierwsze lekcje muzyczne u dyrektora Konserwatorium w Turynie, Giovanniego Bolzoni. W 1895 Varèse skomponował swoją pierwszą operę pod tytułem Martin Pas (wg J. Verne’a), która obecnie uznawana jest za zaginioną. Varèse nigdy nie czuł się dobrze we Włoszech i był nękany w domu rodzinnym. Ostre starcie z ojcem ostatecznie zadecydowało o tym, że w 1903 roku opuścił dom i wyruszył do Paryża.
Od 1904 roku Varèse uczył się w Schola Cantorum (szkole utworzonej przez uczniów Césara Francka w Paryżu), jego nauczycielami byli Albert Roussel i Vincent d’Indy. Następnie uczył się komponowania u Charles-Marie Widora w Paryskim Konserwatorium Muzycznym (Conservatoire de Paris). Od tamtego czasu skomponował kilka ambitnych utworów orkiestrowych w transkrypcji fortepianowej, takich jak utwór Rapsodie Romane utworzony w 1905 dzięki inspiracji architekturą romańską katedry St. Philibert w Tournus. W 1907 Varèse przeniósł się do Berlina i w tym samym roku poślubił aktorkę Suzanne Bing, z którą miał jedną córkę.