У теорії ймовірностей та теорії інформації взає́мна інформа́ція () двох випадкових змінних — це міра взаємної залежності між цими двома змінними. Конкретніше, вона визначає «кількість інформації» (в таких одиницях, як шеннони, що зазвичай називають бітами), отримуваної про одну випадкову змінну через спостерігання іншої випадкової змінної. Поняття взаємної інформації нерозривно пов'язане з ентропією випадкової змінної, фундаментальним поняттям теорії інформації, яке кількісно оцінює очікувану «кількість інформації», що міститься у випадковій змінній.
Не обмежуючись, як коефіцієнт кореляції, дійснозначними випадковими змінними, взаємна інформація є загальнішою, і визначає, наскільки подібним є спільний розподіл до добутків розкладених відособлених розподілів . Взаємна інформація — це математичне сподівання поточкової взаємної інформації ().
Визначення
Формально взаємну інформацію двох дискретних випадкових змінних та може бути визначено як
де є функцією спільного розподілу ймовірностей та , а та є функціями відособлених розподілів імовірності та відповідно.
У випадку неперервних випадкових змінних підсумовування замінюється визначеним подвійним інтегралом:
де тепер є функцією густини спільної ймовірності та , а та є функціями густини відособлених імовірностей та відповідно.
Якщо застосовується логарифм за основою 2, то одиницею вимірювання взаємної інформації є біт.
Обґрунтування
Інтуїтивно, взаємна інформація вимірює інформацію, яку поділяють та : вона вимірює, наскільки знання однієї з цих змінних зменшує невизначеність щодо іншої. Наприклад, якщо та є незалежними, то знання не дає жодної інформації про , і навпаки, тому їхня взаємна інформація дорівнює нулеві. З іншого боку, якщо є детермінованою функцією від , і є детермінованою функцією від , то вся інформація, що передає змінна , є спільною з : знання визначає значення , і навпаки. В результаті, в цьому випадку взаємна інформація є тим же, що й невизначеність, яка міститься окремо в (або ), а саме ентропія (або ). Більше того, ця взаємна інформація і є такою ж, як і ентропія та як ентропія . (Дуже особливим випадком цього є такий, коли та є однією й тією ж випадковою змінною.)
Взаємна інформація є мірою притаманної залежності, вираженої в спільному розподілі та , по відношенню до спільного розподілу та за припущення незалежності. Взаємна інформація відтак вимірює залежність у наступному сенсі: , якщо і лише якщо та є незалежними випадковими змінними. Це легко побачити в одному напрямку: якщо та є незалежними, то , і тому
Крім того, взаємна інформація є невід'ємною (тобто, , див. нижче) і симетричною (тобто, , див. нижче).
Відношення до інших величин
Невід'ємність
Застосувавши нерівність Єнсена до визначення взаємної інформації, ми можемо показати, що є невід'ємною, тобто,
Симетричність
Відношення до умовної та спільної ентропій
Взаємну інформацію може бути рівнозначно виражено як
де та є відособленими ентропіями, та є умовними ентропіями, а є спільною ентропією та . Зверніть увагу на аналогію з об'єднанням, різницею та перетином двох множин, яку показано в діаграмі Венна. В термінах каналу зв'язку, в якому вихід є зашумленою версією входу , ці відношення узагальнено на малюнку нижче.
Оскільки є невід'ємною, як наслідок, . Тут ми наводимо докладне виведення :
Доведення інших наведених вище тотожностей є схожими на це.
Інтуїтивно, якщо ентропію розглядати як міру невизначеності випадкової змінної, то є мірою того, що не каже про . Це є «кількістю невизначеності , яка залишається після того, як стала відомою », і, отже, праву частину другого з цих рівнянь можливо читати як «кількість невизначеності за вирахуванням кількості невизначеності , яка залишається після того, як стала відомою », що рівнозначно «кількість невизначеності , яка усувається, коли стає відомою ». Це підтримує інтуїтивне значення взаємної інформації як кількості інформації (тобто, зниження невизначеності), яке знання однієї з змінних забезпечує стосовно іншої.
Зауважте, що в дискретному випадку і, отже, . Таким чином, , і можна сформулювати основний принцип, що змінна містить про себе щонайменше стільки ж інформації, скільки могла би забезпечити будь-яка інша змінна. Це відповідає подібним пов'язаним результатам.
Відношення до відстані Кульбака — Лейблера
Взаємну інформацію також може бути виражено як відстань Кульбака — Лейблера добутку відособлених розподілів двох випадкових змінних та від спільного розподілу цих випадкових змінних :
Крім того, нехай . Тоді
Зауважте, що тут відстань Кульбака — Лейблера передбачає інтегрування лише за випадковою змінною , і вираз тепер є випадковою змінною в . Таким чином, взаємну інформацію можна також розуміти як математичне сподівання відстані Кульбака — Лейблера змінної від умовного розподілу змінної відносно : що більш відмінними в середньому є розподіли та , то більшим є приріст інформації.
Баєсове оцінювання взаємної інформації
Як робити баєсове оцінювання взаємної інформації спільного розподілу на основі зразків цього розподілу, є добре зрозумілим. Першою працею про те, як це робити, яка також показала, як робити баєсове оцінювання багато чого іншого в теорії інформації, понад взаємну інформацію, була праця Волперта 1995 року. Наступні дослідники цей аналіз перевивели та розширили. Див. нещодавню працю на основі апріорного, спеціально пристосованого для оцінювання взаємної інформації як такої.
Припущення про незалежність
Формулювання взаємної інформації в термінах відстані Кульбака — Лейблера ґрунтується на зацікавленні в порівнянні з повністю розкладеним діадним добутком . В багатьох задачах, таких як розклад невід'ємних матриць, цікавлять менш екстремальні розклади, а саме, хочуть порівнювати з низькоранговим матричним наближенням у якійсь невідомій змінній , тобто, до якої міри можна мати
Або ж може цікавити дізнатися, скільки інформації несе понад свій розклад. В такому випадку додаткова інформація, що несе повний розподіл відносно цього матричного розкладу, задається відстанню Кульбака — Лейблера:
Стандартне визначення взаємної інформації відтворюється в екстремальному випадку, коли процес має для лише одне значення.
Різновиди
Для задоволення різних потреб було запропоновано кілька варіацій взаємної інформації. Серед них є нормалізовані варіанти та узагальнення до понад двох змінних.
Метрика
Багато застосувань вимагають метрики, тобто міри відстань між парами точок. Величина
задовольняє властивості метрики (нерівність трикутника, невід'ємність, та симетрію). Ця метрика відстані також відома як .
Якщо є дискретними випадковими змінними, то всі члени ентропії є невід'ємними, тому і можливо визначити унормовану відстань
Метрика є універсальною метрикою, в тому сенсі, що якщо будь-яка інша міра відстані розмістить та поруч, то й також розглядатиме їх як близькі.
Підключення визначень показує, що
У теоретико-множинній інтерпретації інформації (див. малюнок в умовній ентропії) це є фактично відстанню Жаккара між та .
Нарешті,
також є метрикою.
Умовна взаємна інформація
Іноді корисно виражати взаємну інформацію двох випадкових змінних відносно третьої.
що може бути спрощено як
Обумовлювання третьою випадковою змінною може збільшувати або зменшувати взаємну інформацію, але для дискретних спільно розподілених випадкових змінних завжди залишається істинним
Цей результат застосовувався як основний будівельний блок для доведення інших .
Багатовимірна взаємна інформація
Було запропоновано декілька узагальнень взаємної інформації для понад двох випадкових змінних, такі як та . Якщо розглядати ентропію Шеннона як знакозмінну міру в контексті , як описано в статті «», то єдиним визначенням багатовимірної взаємної інформації, яке має сенс, є наступне:
і для
де (як вище) ми визначаємо
(Це визначення багатовимірної взаємної інформації є ідентичним визначенню , за винятком зміни знаку, коли число випадкових змінних є непарним.)
Застосування
Сліпе застосування інформаційних схем для виведення вищевказаного визначення зазнавало критики, і дійсно, воно знайшло досить обмежене практичне застосування, оскільки важко уявити або зрозуміти значення цієї кількості для великого числа випадкових змінних. Вона може бути нульовою, додатною або від'ємною для будь-якого непарного числа змінних
Одна зі схем багатовимірного узагальнення, яка максимізує взаємну інформацію між спільним розподілом та іншими цільовими змінними, виявилася корисною в обиранні ознак.
Взаємну інформацію також застосовують в галузі обробки сигналів як міру подібності двох сигналів. Наприклад, метрика взаємної інформації ознак () — це міра продуктивності злиття зображень, яка застосовує взаємну інформацію для вимірювання кількості інформації, яку злите зображення містить про первинні зображення. Код MATLAB для цієї метрики можна знайти за адресою .
Спрямована інформація
, , вимірює кількість інформації, що протікає з процесу до , де позначує вектор , а позначує . Термін «спрямована інформація» () було започатковано Джеймсом Мессі, й визначено як
.
Зауважте, що якщо , то спрямована інформація стає взаємною інформацією. Спрямована інформація має багато застосувань у задачах, в яких важливу роль відіграє причинність, таких як пропускна здатність каналу зі зворотним зв'язком.
Унормовані варіанти
Унормовані варіанти взаємної інформації забезпечуються коефіцієнтами обмеження, або вправністю ():
та
Ці два коефіцієнти не обов'язково дорівнюють один одному. В деяких випадках може бути бажаною симетрична міра, така як наступна міра надмірності ():
яка досягає нульового мінімуму, коли змінні є незалежними, і максимального значення
коли одна зі змінних стає абсолютно надмірною при знанні іншої. Див. також надмірність інформації. Іншою симетричною мірою є симетрична невизначеність , яку задають як
що представляє середнє гармонійне двох коефіцієнтів невизначеності .
Якщо розглядати взаємну інформацію як окремий випадок або , то унормованими версіями відповідно є
та
Ця унормована версія також відома як показник якості інформації (), що дає кількісну оцінку інформації змінної на основі іншої змінної відносно повної невизначеності:
Існує унормування, яке випливає з першого розгляду взаємної інформації як аналога коваріації (таким чином, ентропія Шеннона є аналогом дисперсії). Потім унормована взаємна інформація розраховується подібно до коефіцієнту кореляції Пірсона,
Зважені варіанти
В традиційному формулюванні взаємної інформації
кожна подія чи об'єкт, вказані як , зважуються відповідною ймовірністю . Це передбачає, що всі об'єкти або події є рівнозначними без врахування ймовірностей їх настання. Проте в деяких застосуваннях може бути так, що певні об'єкти або події є більш значущими, ніж інші, або що деякі шаблони зв'язків є семантично важливішими за інші.
Наприклад, детерміноване відображення може розглядатися як сильніше за детерміноване відображення , хоча ці відношення видадуть однакову взаємну інформацію. Це відбувається тому, що взаємна інформація взагалі не чутлива до жодного природного впорядкування значень змінних (, , ), і тому взагалі не чутлива до форми відносного відображення між зв'язаними змінними. Якщо бажано, щоби перше відношення — яке показує узгодженість за всіма значеннями змінних — оцінювалося вище, ніж друге відношення, то можна використовувати наступну зважену взаємну інформацію .