Взаимная информация
-
Определение и свойства взаимной информации
- Взаимная информация — это мера зависимости между двумя случайными величинами.
- Она измеряется как разность между энтропиями условных распределений и безусловных распределений.
- В случае дискретных случайных величин она равна сумме произведений условных вероятностей.
- В случае непрерывных случайных величин она равна интегралу от произведения условных плотностей.
-
Теорема Кронекера-Линдеберга
- Взаимная информация удовлетворяет неравенству треугольника и является симметричной.
- Она также удовлетворяет неравенству Кронекера-Линдеберга, которое связывает её с энтропией произведения распределений.
-
Байесовская оценка взаимной информации
- Байесовский подход позволяет оценить взаимную информацию на основе выборок из совместного распределения.
- Существуют различные методы оценки, включая методы, учитывающие непрерывные и многомерные данные.
-
Вариации и метрики взаимной информации
- Существуют различные варианты и метрики взаимной информации, включая вариативность информации и расстояние Райского.
- Метрика D является универсальной метрикой, которая удовлетворяет неравенству треугольника и неразличимости.
-
Условная взаимная информация
- Условная взаимная информация выражает зависимость между двумя случайными величинами, обусловленную третьей.
- Она может быть использована для доказательства неравенств в теории информации.
-
Информация о взаимодействии
- Информация о взаимодействии обобщает взаимную информацию для более чем двух случайных величин.
- Она была изучена независимо Макгиллом и Ху Го Тином и имеет важные применения в теории информации.
- Пересказана только часть статьи. Для продолжения перейдите к чтению оригинала.
Полный текст статьи: