Теория информации и теория измерений
-
Определение и свойства энтропии
- Энтропия — мера неопределенности распределения вероятностей.
- Энтропия связана с вероятностью и логарифмом.
- Энтропия случайной величины равна нулю при равномерном распределении.
- Энтропия суммы независимых случайных величин равна сумме энтропий.
-
Примеры энтропии
- Энтропия распределения Бернулли равна -log(p).
- Энтропия равномерного распределения на отрезке равна -log(2).
- Энтропия распределения Пуассона равна -log(λ).
-
Энтропия и информация
- Энтропия связана с информацией, но не равна ей.
- Энтропия не может быть отрицательной.
- Энтропия может быть использована для оценки информации, содержащейся в случайной величине.
-
Многомерная взаимная информация
- Многомерная взаимная информация — мера пересечения множеств вероятностей.
- Определяется рекурсивно через условную взаимную информацию.
- Может быть как положительной, так и отрицательной.
-
Рекомендации и источники
- Ссылки на книги и статьи по теории информации.
- Указание на ISBN для цитирования.
Полный текст статьи: