Оглавление
Огромное количество информации
-
Основы теории информации
- Информация – это уменьшение неопределенности, связанное с уменьшением энтропии.
- Энтропия – это мера неопределенности, связанная с распределением вероятностей.
- Информация измеряется в битах, а энтропия – в единицах логарифма.
-
Дискретная энтропия
- Дискретная энтропия используется для измерения неопределенности в дискретных распределениях.
- Энтропия Шеннона является мерой неопределенности в бинарных распределениях.
- Для дискретных распределений энтропия равна сумме логарифмов вероятностей.
-
Условная энтропия
- Условная энтропия используется для измерения неопределенности в распределении при условии другого распределения.
- Энтропия Шеннона для условных распределений равна сумме логарифмов условных вероятностей.
-
Дивергенция Кульбака-Лейблера
- Дивергенция Кульбака-Лейблера используется для сравнения двух распределений вероятностей.
- Она измеряет количество дополнительных битов, необходимых для сжатия данных.
-
Взаимная информация
- Взаимная информация измеряет количество информации, которое можно получить об одной случайной величине, наблюдая за другой.
- Она связана с логарифмическим отношением правдоподобия и критерием χ2 Пирсона.
-
Дифференциальная энтропия
- Дифференциальная энтропия расширяет энтропию для непрерывных распределений.
- Она может быть отрицательной и связана с интегралами и функциями плотности вероятности.
Полный текст статьи: