Na jego miejsce wybrano Sugera, który porozumiał się z Tybaldem, Étienne’em de Garlande’em i w obecności Ludwika VI, zezwolił Piotrowi udać się na pustelnię, pod warunkiem podlegania pod Saint-Denis.
Udał się w okolicę Nogent-sur-Seine, gdzie w 1122 roku wybudował pustelnię i kaplicę pod wezwaniem Trójcy Świętej. Wkrótce potem wokół niego zaczęli się gromadzić nowi uczniowie, którzy z czasem zbudowali tam małą wspólnotę i nową kaplicę, nazwaną Paraklet. Wzbudziło to zazdrość dawnych oponentów – Alberyka i Lutolfa, którzy potem spowodowali konflikt z Norbertem z Xanten i Bernardem z Clairvaux. Abelard zaczął obawiać się o swoje życie, przez co opuścił Paraklet i został wybrany opatem w Saint-Gildas-de-Rhuys w 1125 roku. Klasztor nie stosował się do reguły zakonnej, a prawo stanowił nie opat, a miejscowy władca. Piotr usiłował przeprowadzić tam reformę, ale nie odniósł sukcesu. Gdy około 1128 roku, Heloiza została wypędzona z klasztoru razem ze swoimi współsiostrami, dzięki działaniom opata Sugera, Abelard zaprosił ją i kilka innych mniszek do klasztoru Parakleta, który im ofiarował. Zostało to później potwierdzone przez Innocentego II. Nie pozostał jednak w tym klasztorze i powrócił do Saint-Gildas, gdzie sytuacja miała się jeszcze gorzej, a mnisi usiłowali otruć opata. Nawiązał wówczas korespondencję z Heloizą.