Коэффициент энтропии
-
Основы энтропии
- Энтропия — это функция, которая измеряет сложность случайного процесса.
- Условная энтропия стремится к скорости энтропии при сильной стационарности процесса.
-
Последовательность энтропий
- Процесс с индексом порождает последовательность совместных энтропий.
- Скорость энтропии определяется как предел этой последовательности.
-
Обсуждение энтропии
- Скорость энтропии отражает долгосрочное изменение энтропии на одну случайную величину.
- Для сильно стационарных процессов скорость энтропии постоянна.
-
Энтропия для цепей Маркова
- Скорость энтропии для цепей Маркова не зависит от исходного распределения.
- Для цепей Маркова с правильным распределением энтропия связана с асимптотическим распределением.
-
Энтропия скрытых марковских моделей
- Для скрытых марковских моделей коэффициент энтропии не имеет точного решения.
- Существуют верхние и нижние границы для энтропии скрытых марковских моделей.
-
Применение энтропии
- Энтропия используется для оценки сложности процессов и оптимизации алгоритмов сжатия данных.
- Критерий максимального уровня энтропии применяется в машинном обучении.
-
Рекомендации
- Для более подробной информации рекомендуется обратиться к книге «Элементы теории информации» Томаса и Дж. (1991).
Полный текст статьи: