Арифметическое кодирование
-
Основы арифметического кодирования
- Арифметическое кодирование — метод сжатия данных, основанный на энтропии.
- Используется для сжатия последовательностей битов, где каждый бит имеет определенную вероятность.
- Кодирование Хаффмана не всегда достигает энтропии, в отличие от арифметического кодирования.
-
Алгоритм арифметического кодирования
- Алгоритм арифметического кодирования основан на использовании логарифмов и степеней двойки.
- Кодирование начинается с определения текущего символа и вычитания соответствующего термина.
- Процесс продолжается до тех пор, пока не будет достигнут положительный результат или длина сообщения не достигнет определенного предела.
-
Теоретический предел сжатия
- Нижняя граница сжатия никогда не превышает размер сообщения, что выражается в виде логарифма.
- После сокращения сообщения можно дополнительно уменьшить его длину на основе произведения частот.
- При приближении к бесконечности сообщение сжимается до энтропии, что является оптимальным.
-
Асимптотическое равномерное распределение
- Источник с асимптотическим равномерным распределением обладает свойством почти равномерного распределения.
- Каждая строка имеет почти равную вероятность, и их общая вероятность близка к единице.
- Арифметическое кодирование может эффективно сжимать строки с равномерным распределением.
-
Связь с другими методами сжатия
- Арифметическое кодирование близко к энтропии при сжатии строк с IID.
- Кодирование Хаффмана может быть неэффективным при неравных вероятностях символов.
- Объединение символов для формирования нового алфавита может значительно улучшить сжатие.
-
История и патенты
- Алгоритмы арифметического кодирования были разработаны независимо Йормой Дж. Риссаненом и Ричардом К. Паско.
- Патент на работу Риссанена был подан IBM, в то время как работа Паско не была запатентована.
- Многие специфические методы арифметического кодирования защищены патентами, но некоторые из них стали общедоступными.
- Пересказана только часть статьи. Для продолжения перейдите к чтению оригинала.
Полный текст статьи: