Взаимная информация — количество информации, содержащееся в -ом значении одной случайной величины (-ой точке одного дискретного пространства) относительно -го значения другой случайной величины (-ой точке другого дискретного пространства)Фано Р. М. Передача информации. Статистическая теория связи, 1965. — С. 43.Фано Р. М. Передача информации. Статистическая теория связи, 1965. — С. 44.. Это позволяет интерпретировать взаимную информацию как меру статистической связи между значениями двух случайных величин.
Средняя взаимная информация или взаимная энтропияУсенко О. А. Приложения теории информации и криптографии в радиотехнических системах, 2017. — С. 36. — математическое ожидание взаимной информацииФано Р. М. Передача информации. Статистическая теория связи, 1965. — С. 57.Фано Р. М. Передача информации. Статистическая теория связи, 1965. — С. 65.. Представляет собой статистическую функцию двух случайных величин, описывающая среднее количество информации одной случайной величины, содержащейся в другой случайной величине (среднее количество информации об одной случайной величине, получаемое при определении значения другой случайной величины)Гельфанд И. М., Яглом А. М. О вычислении количества информации о случайной функции, содержащейся в другой такой функции. Успехи математических наук, 1957, том 12, выпуск 1. — С. 5..
При передаче информации по каналу связи средняя взаимная информация представляет собой среднее количество информации, полученной о переданном сообщении после его полученияФано Р. М. Передача информации. Статистическая теория связи, 1965. — С. 66..
Определение Количество информации, содержащееся в -ом значении случайной величины (событии ) относительно -го значения случайной величины (события ) называется взаимной информацией между событиями и и определяется по формулеФано Р. М. Передача информации. Статистическая теория связи, 1965. — С. 50.:
где — вероятность события , — вероятность события , — вероятность события при условии выполнения события , — вероятность события при условии выполнения события .
Использование в выражении в качестве разделителя запятой означает, что эту величину следует отличать от собственной информации, содержащейся в произведении (паре) значений и Фано Р. М. Передача информации. Статистическая теория связи, 1965. — С. 53..
Основание логарифма определяет величину единицы измерения информации. Наиболее часто используется основание 2 и единицей информации является бит. Также в качестве основания логарифма используются e, 3, 10.
Взаимная информация между событиями и может быть выражена в виде:
где — количество собственной информации, содержащейся в , — количество собственной информации, содержащейся в , — условная собственная информация, содержащаяся в , при условии выполнения события , — условная собственная информация, содержащаяся в , при условии выполнения события Фано Р. М. Передача информации. Статистическая теория связи, 1965. — С. 51—52..
На основании такой записи взаимная информация может быть интерпретирована как разность между количеством информации, требуемой для идентификации до и после того как становится известным . Она же равна разности между количеством информации, требуемой для идентификации до и после того как становится известным .
Средняя взаимная информация определяется через энтропию и условную энтропию двух случайных величин какКудряшов В. Д. Теория информации, 2009. — С. 107.:
где — энтропия случайной величины , то есть среднее значение собственной информации, — среднее значение условной собственной информацииФано Р. М. Передача информации. Статистическая теория связи, 1965. — С. 61. или
где
Тогда средняя взаимная информация определяется по формулеФомичёв В. М. Элементы теории информации в защите информации, 2021. — С. 168.:
Свойства взаимной информации Свойства взаимной информацииКудряшов В. Д. Теория информации, 2009. — С. 106.: Взаимная информация является симметричной функцией случайных величин:
Для независимых значений и взаимная информация равна нулю:
Взаимная информация может принимать как положительные, так и отрицательные значения. Если условная вероятность больше безусловной, то взаимная информация положительна, если наоборот, то отрицательна.
Свойства средней взаимной информацииКудряшов В. Д. Теория информации, 2009. — С. 106—107.: Взаимная информация является симметричной функцией случайных величин:
Взаимная информация неотрицательна и не превосходит энтропию аргументов:
Для независимых случайных величин взаимная информация равна нулю:
Когда одна случайная величина (например, ) является детерминированной функцией другой случайной величины (), взаимная информация равна энтропииРомащенко А. Е. Введение в теорию информации, 2013. — С. 3—4.:
Условная взаимная информация Условная взаимная информация — статистическая функция, описывающая количество информации, содержащееся в одном значении случайной величины относительно значения другой случайной величины, при условии заданного значения третьей случайной величины:
Средняя условная взаимная информация — статистическая функция трёх случайных величин, описывающая количество информации, содержащееся в одной случайной величине относительно другой, при условии заданной третьей случайной величиныГаллагер Р. Теория информации и надежная связь, 1974. — С. 37.:
Среднюю условную взаимную информацию можно представить в виде:
Передача информации Пусть передаче подлежит сообщение , состоящее из последовательности символов . На приемном конце после демодуляции получается сообщение , состоящее из последовательности символов . На приёмном конце переданные символы заранее неизвестны, известны только вероятности их передачи.
Скоростью передачи информации по дискретному каналу связи (между входом модулятора передатчика и выходом демодулятора приёмника) называется величинаФинк Л. М. Теория передачи дискретных сообщений, 1970. — С. 49.:
где — среднее время, затрачиваемое на передачу одного символа, — средняя взаимная информация, — производительность источника сообщений, — энтропия источника сообщений, являющаяся степенью неопределенности передачи того или иного символа.
Величина
называется ненадежностью, отнесённой к единице времени, является условной энтропией и называется ненадежностью, то есть средним количеством информации, теряемой при передаче информации и являющейся мерой неопределённости принятого символаШеннон К. Работы по теории информации и кибернетике, 1963. — С. 277..
Отличие скорости от скорости при равномерном кодировании символов сообщения состоит в том, что является действительной скоростью передачи информации, а — скоростью создания информации (технической скоростью передачи информации (битов)), где — длительность бита.
В случае, когда в канале связи отсутствует шум, выходные символы являются детерминированной функцией входных символов . Поэтому после получения символов , неопределенность в знании значений символов полностью пропадёт (символы будут известны абсолютно точно). Поэтому ненадежность станет равной нулю. Следовательно, средняя взаимная информация между переданными и полученными символами станет равной энтропии источника сообщений и скорость передачи информации будет максимальна.
В случае, когда в канале связи присутствует шум, выходные символы канала не являются детерминированной функцией входных символов канала . Поэтому после получения символов , возникнет неопределенность в знании значений символов (символы не будут известны абсолютно точно). Поэтому ненадежность станет больше нуля. Следовательно, средняя взаимная информация между переданными и полученными символами уменьшится по сравнению со случаем отсутствия шума. При слишком большом шуме выходные символы станут статистически независимыми от входных символов , то есть неопределенность в знании значений символов будет совпадать с энтропией источника сообщений , то есть взаимная информация между переданными и принятыми символами станет равной нулю, и скорость передачи информации тоже станет равной нулю. В двоичном канале (входные символы канала являются битами), когда вероятность ошибочного приёма символов равна , скорость передачи информации равна нулю, так как примерно половина символов окажутся принятыми неправильно, то есть никакой действительной передачи информации не будет происходить, при этом скорость создания информации останется неизменной.
Примечания
Литература
Категория:Теория информации