Jednak największe zainteresowanie współczesnych zwróciły liczne wątki obyczajowe. W większości pierwszego tomu oraz części drugiego autor zawarł charakterystykę osób, z którymi się spotykał w trakcie swego życia – przeważnie ziemian ówczesnych guberni wołyńskiej i kijowskiej. Opinie te były zwykle „dosadne” i „nie zawsze pochlebne”, a autor często o ludziach pisał to, o czym „się mówiło szeptem wśród przyjaciół, ale nie uchodziło głosić publicznie”. Często były to posądzenia o „niemoralne lub nieuczciwe prowadzenie się”. Nic dziwnego, że po ukazaniu się Pamiętnik wywołał „namiętne oburzenie i liczne protesty po pismach warszawskich i galicyjskich”, doszło nawet do kilku pojedynków. Nakład rozszedł się błyskawicznie, bo „jedni czytelnicy rzucali się do księgarni w pogoni za niecodzienną sensacją, inni – bezpośrednio zainteresowani – wykupywali i niszczyli nakład”. Krytyczne recenzje wspomnień napisali m.in.: Franciszek Rawita-Gawroński, Walery Przyborowski, Józef Karwicki i Eustachy Iwanowski.