Совместная энтропия
-
Определение энтропии
- Энтропия — мера неопределенности в теории информации.
- Общая энтропия набора случайных величин — сумма индивидуальных энтропий.
-
Свойства энтропии
- Энтропия всегда неотрицательна.
- Общая энтропия больше или равна сумме индивидуальных энтропий.
- Общая энтропия меньше или равна сумме индивидуальных энтропий, если переменные статистически независимы.
-
Связь с другими показателями энтропии
- Условная энтропия определяется через совместную энтропию.
- В квантовой теории информации энтропия обобщается на квантовую энтропию.
-
Общая дифференциальная энтропия
- Дифференциальная энтропия применяется к непрерывным случайным величинам.
- Определяется как интеграл от совместной плотности вероятности.
- Интеграл может не существовать, в этом случае энтропия не определена.
-
Свойства дифференциальной энтропии
- Дифференциальная энтропия меньше или равна сумме энтропий отдельных случайных величин.
- Существует цепное правило для двух случайных величин.
- Обобщается для более чем двух случайных величин.
-
Применение совместной дифференциальной энтропии
- Используется для определения взаимной информации между непрерывными случайными величинами.
Полный текст статьи: