Nie wiadomo, czy związek Piotra Fiodorowicza i Elżbiety Woroncowej kiedykolwiek został skonsumowany – wielki książę cierpiał na schorzenie członka zwane stulejką, które praktycznie uniemożliwiało stosunki seksualne, czyniąc je niezwykle bolesnymi.

Po tym, jak kochanek Elżbiety został cesarzem pod koniec stycznia 1762, nadał jej order św. Katarzyny (zarezerwowany dla żon cesarzy, ich córek, synowych i krewnych) i nakazał przygotować dla niej wielki apartament w niedawno wybudowanym pałacu Zimowym, położony tuż obok jego własnych, cesarskich komnatSukhareva, 2005. Woroncowa towarzyszyła Piotrowi III we wszystkich jego wyprawach i przygodach, tak że ambasadorowie obcych mocarstw donosili swoim władcom, że cesarz ma zamiar rozwieść się ze swoją czarującą żoną i poślubić odrażającą Woroncową. Podobno niektóre z plotek były dziełem bliskiej przyjaciółki Katarzyny Aleksiejewny i siostry Elżbiety Woroncowej, księżnej Katarzyny Daszkowej, która wraz z cesarzową planowała obalenie Piotra III w czerwcu 1762. Kontrowersyjny jest do dziś udział Daszkowej i Woroncowej w spisku przeciwko Piotrowi III. Po obaleniu męża, Katarzyna II postarała się by już nigdy nie zobaczył ukochanej faworyty – najpierw uwięziła go w odległej wiosce, po to by później nakazać braciom Orłowom zamordowanie go.