Пото́чкова взає́мна інформа́ція (ПВІ, ), або то́чкова взає́мна інформа́ція () — це міра пов'язаності, що використовується в теорії інформації та статистиці. На відміну від взаємної інформації (ВІ), що будується на ПВІ, вона стосується одиничних подій, тоді як ВІ стосується усереднення всіх можливих подій.
Визначення ПВІ пари результатів x та y, що належать дискретним випадковим змінним X та Y, дає кількісну оцінку розбіжності між імовірністю їхнього збігу за заданого їхнього спільного розподілу, та їхніми особистими розподілами за умови їхньої незалежності. Математично:
Взаємна інформація (ВІ) випадкових змінних X та Y є математичним сподіванням значення ПВІ над усіма можливими результатами (по відношенню до спільного розподілу ).
Ця міра є симетричною (). Вона може набувати додатних та від'ємних значень, але є нульовою, якщо X та Y є незалежними. Зауважте, що хоча ПВІ й може бути додатною або від'ємною, її математичне сподівання над усіма спільними подіями (ВІ) є додатним. ПВІ досягає максимуму тоді, коли X та Y є цілком пов'язаними (тобто, або ), даючи наступні межі:
Нарешті, збільшуватиметься за незмінної , але зменшуваної .
Ось приклад для ілюстрації: xyp(x, y)000.1010.7100.15110.05 Використовуючи цю таблицю, ми можемо здійснити відособлювання, щоби отримати наступну додаткову таблицю для особистих розподілів: p(x)p(y)00.80.2510.20.75 У цьому прикладі ми можемо обчислити чотири значення . Із застосуванням логарифмів за основою 2: pmi(x=0;y=0)=−1pmi(x=0;y=1)=0.222392pmi(x=1;y=0)=1.584963pmi(x=1;y=1)=-1.584963
(Для довідки, взаємною інформацією тоді буде 0.2141709)
Схожості зі взаємною інформацією Поточкова взаємна інформація має багато відношень, однакових зі взаємною інформацією. Зокрема,
де є власною інформацією, або .
Нормалізована поточкова взаємна інформація (НПВІ) Поточкову взаємну інформацію може бути нормалізовано в проміжку [-1,+1], що дає в результаті -1 (у границі) для спільної появи ніколи, 0 — для незалежності та +1 — для цілковито .
Варіанти ПВІ На додачу до наведеної вище НПВІ, ПВІ має багато інших цікавих варіантів. Порівняльне дослідження цих варіантів можна знайти в Francois Role, Moahmed Nadif. Handling the Impact of Low frequency Events on Co-occurrence-based Measures of Word Similarity:A Case Study of Pointwise Mutual Information. Proceedings of KDIR 2011 : KDIR- International Conference on Knowledge Discovery and Information Retrieval, Paris, October 26-29 2011
Ланцюгове правило для ПВІ Як і взаємна інформація, поточкова взаємна інформація слідує ланцюговому правилу, тобто,
Це може бути легко доведено як
Застосування В математичній лінгвістиці ПВІ використовували для знаходження сполучень та пов'язаності слів. Наприклад, появ та слів у корпусі текстів можна використовувати для наближення ймовірностей та відповідно. Наступна таблиця показує кількості пар слів, що отримали найвищі та найнижчі рівні ПВІ у перших 50 мільйонах слів англомовної Вікіпедії (дамп від жовтня 2015 року), відфільтрованих за 1 000 чи більше спільних появ. Частоту кожної з кількостей можна отримати діленням її значення на 50 000 952. (Зауваження: в цьому прикладі для обчислення значень ПВІ використано натуральний логарифм замість логарифму за основою 2) слово 1слово 2кількість слів 1кількість слів 2кількість спільних появПВІpuertorico19381311115910.0349081703hongkong2438269422059.72831972408losangeles3501280827919.56067615065carbondioxide4265135310329.09852946116prizelaureate5131167612108.85870710982sanfrancisco5237247717798.83305176711nobelprize4098513124988.68948811416icehockey5607300219338.6555759741startrek8264159414898.63974676575cardriver5578274913848.41470768304itthe28389132932963347-1.72037278119areof23445817614361019-2.09254205335thisthe19988232932961211-2.38612756961isof56567917614361562-2.54614706831andof137539617614362949-2.79911817902aand98444213753961457-2.92239510038inand118765213753961537-3.05660070757toand102565913753961286-3.08825363041toin102565911876521066-3.12911348956ofand176143613753961190-3.70663100173
Добре сполучені пари мають високу ПВІ, оскільки ймовірність спільної появи є лише трошки нижчою за ймовірності появи кожного зі слів. З іншого боку, пара слів, ймовірності появи яких є значно вищими за ймовірність їхньої спільної появи, отримує низький рівень ПВІ.
Примітки
Література
Посилання Демонстрація на сервері MSR Rensselaer (значення ПВІ нормалізовано, щоби вони були в проміжку між 0 та 1)