Избыточность (теория информации)
-
Определение избыточности
- Избыточность измеряет разницу между энтропией и максимально возможным значением.
- Избыточность описывает объем неиспользованного пространства для передачи данных.
-
Сжатие данных и исправление ошибок
- Сжатие данных уменьшает нежелательную избыточность.
- Прямое исправление ошибок добавляет желаемую избыточность для обнаружения ошибок.
-
Количественное определение избыточности
- Скорость источника без памяти равна энтропии на символ.
- Абсолютная скорость равна энтропии при равномерном распределении.
- Относительная избыточность определяет максимально возможное сжатие данных.
-
Другие понятия избыточности
- Взаимная информация и нормализованный вариант измеряют избыточность между переменными.
- Общая корреляция определяет степень избыточности многих переменных.
- Избыточность сжатых данных связана с разницей между ожидаемой и реальной длиной данных.
-
Групповое резервирование
- Избыточность набора из n переменных обобщается на основе взаимной информации.
- Отрицательное значение избыточности указывает на избыточность набора переменных.
-
Ссылки
- Кодировка Хаффмана, сжатие данных, функция Хартли, негэнтропия, теорема о кодировании исходного кода, чрезмерная завершенность.
Полный текст статьи: