Теория информации
-
История теории информации
- Теория информации была создана Клодом Шенноном в 1940-х годах.
- Первые вклады в теорию были сделаны Гарри Найквистом и Ральфом Хартли в 1920-х годах.
- Теория находится на стыке электронной инженерии, математики, статистики, компьютерных наук, нейробиологии, физики и электротехники.
-
Основные понятия теории информации
- Энтропия количественно определяет степень неопределенности.
- Взаимная информация описывает меру информации, общую для двух случайных величин.
- Пропускная способность канала определяет максимальную скорость передачи информации.
-
Приложения теории информации
- Кодирование исходного кода и сжатие данных.
- Кодирование каналов и обнаружение ошибок.
- Теория нашла применение в криптографии, нейробиологии, обработке сигналов, лингвистике и других областях.
-
Основные результаты Шеннона
- Теорема о кодировании в зашумленных каналах.
- Теорема Шеннона–Хартли о пропускной способности гауссовского канала.
- Бит как новая единица измерения информации.
-
Историческая справка
- Шеннон опубликовал статью «Математическая теория связи» в 1948 году.
- До этого были разработаны ограниченные теоретико-информационные идеи.
- Вклад Людвига Больцмана и Дж. Уилларда Гиббса в термодинамику.
-
Энтропия и её единицы
- Энтропия определяется как мера неопределенности случайной величины.
- Единицы измерения энтропии включают бит, nat и десятичную цифру.
- Энтропия источника информации измеряется в битах на символ.
-
Энтропия источника
- Энтропия источника, выдающего независимые и одинаково распределенные символы, равна N ⋅ H битам.
- Если символы не независимы, энтропия меньше N ⋅ H.
-
Информация и энтропия
- Если каждый бит известен, информация не передается.
- Если биты независимы, передается 1000 шеннонов информации.
- Энтропия определяется как H(X) = -∑p(x) log p(x).
-
Совместная энтропия
- Совместная энтропия двух случайных величин равна сумме их индивидуальных энтропий.
- Не путать с перекрестной энтропией.
-
Условная энтропия
- Условная энтропия X для Y равна средней условной энтропии по Y.
- Важно различать условную энтропию и условную неопределенность.
-
Взаимная информация
- Взаимная информация измеряет объем информации, получаемой при наблюдении за одной случайной величиной.
- Взаимная информация симметрична и может быть выражена через расхождение Кульбака-Лейблера.
-
Дивергенция Кульбака-Лейблера
- Дивергенция Кульбака-Лейблера измеряет количество дополнительных битов для сжатия данных.
- Не является истинной метрикой, но может быть интерпретирована как «ненужный сюрприз».
-
Направленная информация
- Направленная информация измеряет информационный поток от одного случайного процесса к другому.
- Не симметрична и имеет множество применений в задачах с причинно-следственной связью.
-
Другие количества
- Энтропия Реньи, энтропия Цаллиса, дифференциальная энтропия и условная взаимная информация.
- Прагматическая информация показывает объем информации, использованной при принятии решения.
-
Теория кодирования
- Теория кодирования включает сжатие данных и исправление ошибок.
- Сжатие данных устраняет избыточность, исправление ошибок добавляет избыточность для передачи данных.
-
Теория источника
- Источник без памяти генерирует независимые одинаково распределенные символы.
- Эргодичность и стационарность накладывают менее жесткие ограничения.
-
Скорость передачи информации
- Скорость передачи информации определяется как средняя энтропия на символ.
- Для стационарных источников скорость равна условной энтропии символа.
- Для нестационарных процессов скорость равна пределу совместной энтропии для каждого символа.
-
Скорость работы источника информации
- Скорость работы источника информации связана с его избыточностью и сжатием.
- Кодирование источника является предметом теории информации.
-
Пропускная способность канала
- Коммуникация по каналу является основной мотивацией теории информации.
- Каналы часто не могут точно воспроизвести сигнал из-за шума и искажений.
- Пропускная способность канала определяется взаимной информацией.
-
Канальное кодирование
- Канальное кодирование связано с поиском почти оптимальных кодов для передачи данных по зашумленному каналу.
- Пропускная способность конкретных моделей каналов, таких как двоичный симметричный канал и двоичный канал стирания, определяется различными функциями энтропии.
-
Каналы с памятью и направленной информацией
- Каналы с памятью определяются условной вероятностью.
- Пропускная способность определяется скоростью передачи взаимной информации при отсутствии обратной связи и направленной информации при наличии обратной связи.
-
Взаимозаменяемая информация
- Взаимозаменяемая информация не зависит от средств кодирования.
- Классические теоретики информации и специалисты по информатике занимаются такой информацией.
-
Применение в других областях
- Теория информации применима к криптографии и криптоанализу.
- Генераторы псевдослучайных чисел используются в криптографии, но требуют внешних случайных данных.
- Сейсморазведка использует теорию информации для улучшения разрешения и четкости изображения.
- Семиотика использует концепции теории информации для объяснения идеологии.
- Интегрированная организация процессов обработки нейронной информации анализируется с помощью информационно-теоретических методов.
-
Различные области применения
- Теория информации также применяется в поисках внеземного разума, черных дыр, биоинформатике и азартных играх.
-
Основные понятия теории информации
- Скрытый канал
- Сжатие данных
- Декодер
- Дифференциальная энтропия
- Взаимозаменяемая информация
- Сложность изменения информации
- Информационная энтропия
- Совместная энтропия
- Дивергенция Кульбака–Лейблера
- Взаимная информация
- Точечная взаимная информация (PMI)
- Приемник (теория информации)
- Избыточность
- Энтропия Рени
- Самоинформация
- Расстояние уникальности
- Разнообразие
- Расстояние Хэмминга
- Недоумение
-
Рекомендации и дальнейшее чтение
- Классическая работа Шеннона (1948)
- Заметки и другие форматы Р.В.Л. Хартли (1928)
- Андрей Колмогоров (1968)
- Другие журнальные статьи
- Учебники по теории информации
- Другие книги
- Внешние ссылки