Условная энтропия
-
Определение условной энтропии
- Условная энтропия — это мера неопределенности значения случайной величины относительно другой.
- Энтропия измеряется в битах и зависит от вероятности каждого возможного значения.
-
Примеры условной энтропии
- Энтропия монеты: 1 бит для монеты с двумя сторонами, 0 бит для монеты с одной стороной.
- Энтропия текста: зависит от вероятности каждого символа.
-
Свойства условной энтропии
- Условная энтропия равна 0, когда значение случайной величины полностью определяется другим.
- Энтропия независимых случайных величин равна энтропии одной из них.
- Условная энтропия подчиняется правилу цепочки, которое связывает энтропию системы с энтропией ее частей.
-
Правило Байеса и другие свойства
- Правило Байеса связывает условную энтропию с полной энтропией.
- Существуют другие свойства условной энтропии, включая связь с взаимной информацией и неравенство энтропийной мощности.
-
Условная дифференциальная энтропия
- Непрерывная версия условной энтропии называется условной дифференциальной энтропией.
- Условная дифференциальная энтропия может быть отрицательной и подчиняется цепному правилу.
-
Связь с погрешностью оценки
- Условная дифференциальная энтропия используется для оценки ожидаемой квадратичной ошибки оценщика.
-
Обобщение на квантовую теорию
- В квантовой теории информации условная энтропия обобщается на условную квантовую энтропию, которая может принимать отрицательные значения.
Полный текст статьи: