W wieku 10 lat została wysłana do szkoły z internatem Langford Grove w Essex. Spędziła kilka miesięcy w Rzymie, a w 1935 przeprowadziła się do Paryża, gdzie zamieszkała z artystką Zoum Walter oraz jej mężem Francois, pisarzem. Angelica pokochała Francję do tego stopnia, że w ostatnich 30 latach życia postanowiła osiedlić się w niej na stałe. W 1936 odwiedziła Londyńskie Studio Teatralne, by uczyć się pod opieką Michaela Saint-Denis oraz Georga Devine'a. Przepisała się na studia historii sztuki w . Uczyli tam m.in. William Coldstream i Victor Pasmore.
Małżeństwo W 1942, w wieku 24 lat, wyszła za mąż za Davida Garnetta, wówczas redaktora, recenzenta i pisarza, którego matką była Constance Garnett, wybitna tłumaczka literatury rosyjskiej. Związek Angeliki i Davida rozpoczął się wiosną 1938, kiedy Garnett był mężem Rachel "Ray" Marshall, która umierała na raka.
Garnett należał do kręgu znajomych rodziców Angeliki. Był również kochankiem Duncana Granta, ojca Angeliki, który w tym samym czasie uwodził Vanessę Bell, matkę Angeliki. Kiedy urodziła się Angelica, Garnett napisał o dziecku do Lyttona Stracheya: Jej piękno jest niezwykłe… Myślę o poślubieniu jej;