Conditional mutual information
-
Определение и свойства взаимной информации
- Взаимная информация — это мера зависимости между двумя случайными переменными.
- Она измеряется в битах и может быть положительной, отрицательной или нулевой.
- В случае дискретных переменных она равна количеству информации, которое необходимо передать для определения одной переменной из другой.
-
Примеры и свойства
- В случае двух дискретных переменных с равномерным распределением взаимная информация равна нулю.
- В случае двух непрерывных переменных с нормальным распределением взаимная информация также равна нулю.
- Для трех переменных с равномерным распределением взаимная информация может быть вычислена через тройное интегральное исчисление.
-
Разложение и взаимодействие информации
- Взаимная информация может быть разложена на сумму условной и безусловной информации.
- Взаимодействие информации — это разница между взаимной информацией и условной информацией при условии третьей переменной.
- Взаимодействие информации может быть положительным, отрицательным или нулевым, даже если переменные независимы.
-
Применение и свойства
- Взаимная информация используется для оценки зависимости между переменными в различных областях, включая статистику и информатику.
- Она также играет ключевую роль в доказательстве неравенств в теории информации, таких как неравенства Шеннона.
-
Ссылки
- Статья содержит ссылки на другие источники для более подробного изучения темы.
Полный текст статьи: