Na Św. Helenie Druga abdykacja stała się dla Las Casesa początkiem jego najbardziej znanego okresu w życiu. Wraz ze zdetronizowanym cesarzem i garstką najwierniejszych przyjaciół udał się do Rochefort, gdzie przekonał Napoleona, by zdał się na łaskę Brytyjczyków. Las Cases nawiązał kontakt z kapitanem fregaty HMS Bellerophon, od którego otrzymał pewne gwarancje, których rzetelność później podważał, uważając, że cesarz został oszukany i bez sądu skazany.
Las Cases i jego syn towarzyszyli cesarzowi w drodze na wyspę Świętej Heleny, gdzie służyli mu jako nieformalni, ale bardzo oddani sekretarze, sporządzając wiele notatek z jego rozmów i uwag, co ostatecznie przybrało formę słynnego "Pamiętnika Świętej Heleny" (fr. Le Mémorial de Sainte-Hélène).
"Pamiętnik" jest znacznie mniej wiarygodny od zapisków Gourgauda, a na dodatek wszystko wyglądało na to, że Las Cases szukał możliwości opuszczenia wyspy, gdy tylko zebrał wystarczającą ilość materiału do wydania książki. Jest jednak całkiem prawdopodobne, że naruszył któryś z punktów ostrego brytyjskiego regulaminu, co spowodowało usunięcie go z wyspy przez gubernatora Hudsona Lowe w listopadzie 1816 roku. Dowodem mogłoby być to, że z wyspy został najpierw wysłany do Kraju Przylądkowego i dopiero stamtąd do Europy, przy czym rząd Ludwika XVIII nie zezwolił mu na wjazd do Francji.