Энтропийное кодирование
-
Основы энтропийного кодирования
- Энтропийное кодирование — метод сжатия данных без потерь, стремящийся к нижней границе, установленной теоремой Шеннона.
- Теорема Шеннона утверждает, что ожидаемая длина кода должна быть не меньше энтропии исходного кода.
-
Методы энтропийного кодирования
- Кодирование Хаффмана и арифметическое кодирование являются двумя распространенными методами энтропийного кодирования.
- Статические коды, такие как универсальные и коды Голомба, могут быть полезны при известных энтропийных характеристиках данных.
- Asymmetric numeral systems сочетают сжатие арифметического кодирования с затратами на обработку, аналогичными кодированию Хаффмана.
-
Энтропия как мера сходства
- Энтропийный кодировщик может использоваться для классификации данных, сравнивая несжатые данные с известными классами данных.
- Программист с лучшим сжатием данных, вероятно, знаком с данными, наиболее похожими на неизвестные.
-
Дополнительные ресурсы
- Ссылки на книги и статьи по теории информации и энтропийному кодированию приведены в конце статьи.
Полный текст статьи: