Предельная плотность дискретных точек
-
Основы теории информации
- Энтропия: мера неопределенности распределения вероятностей.
- Дифференциальная энтропия: формула Шеннона для непрерывного распределения.
- Условная энтропия: учитывает зависимость распределения от дополнительных переменных.
- Совместная энтропия: объединяет энтропии нескольких распределений.
- Взаимная информация: мера зависимости между двумя переменными.
- Направленная информация: учитывает направление зависимости между переменными.
-
Уточнение формулы Шеннона
- Предельная плотность дискретных точек: поправка к формуле Шеннона для непрерывной энтропии.
- Эдвин Томпсон Джейнс: предложил формулу для непрерывной энтропии, устраняющую недостатки формулы Шеннона.
- Определение непрерывной энтропии: предел плотностей дискретных распределений.
-
Свойства непрерывной энтропии
- Инвариантность при изменении переменных: при условии, что плотности распределений трансформируются одинаково.
- Связь с дискретной энтропией: дискретная энтропия равна среднему количеству битов для передачи информации.
- Дивергенция Кульбака-Лейблера: отражает информацию, полученную при изучении распределения.
-
Практические аспекты
- Опущение термина «бревно»: в практических вычислениях удобнее не учитывать бесконечный термин.
- Ограничения при квантовании: энтропия всегда будет неположительной при точном квантовании.
-
Рекомендации по дальнейшему чтению
- Статья не содержит конкретных рекомендаций по дальнейшему чтению, но предлагает обратиться к дополнительной литературе.
Полный текст статьи: