Теория информации

От / / Оставьте комментарий

Оглавление1 Теория информации1.1 История теории информации1.2 Основные понятия теории информации1.3 Приложения теории информации1.4 Основные результаты Шеннона1.5 Историческая справка1.6 Энтропия и […]

'Внедрение компьютеров в 1948 году.', 'Информационный век', 'История логики', 'История математики', 'Кибернетика', 'Клод Шеннон', 'Сжатие данных', 'Теория информации', 'Формальные науки', Claude Shannon, Computer-related introductions in 1948, Cybernetics, Data compression, Formal sciences, History of logic, History of mathematics, Information Age, Information theory

Оглавление

Теория информации

  • История теории информации

    • Теория информации была создана Клодом Шенноном в 1940-х годах.  
    • Первые вклады в теорию были сделаны Гарри Найквистом и Ральфом Хартли в 1920-х годах.  
    • Теория находится на стыке электронной инженерии, математики, статистики, компьютерных наук, нейробиологии, физики и электротехники.  

  • Основные понятия теории информации

    • Энтропия количественно определяет степень неопределенности.  
    • Взаимная информация описывает меру информации, общую для двух случайных величин.  
    • Пропускная способность канала определяет максимальную скорость передачи информации.  

  • Приложения теории информации

    • Кодирование исходного кода и сжатие данных.  
    • Кодирование каналов и обнаружение ошибок.  
    • Теория нашла применение в криптографии, нейробиологии, обработке сигналов, лингвистике и других областях.  

  • Основные результаты Шеннона

    • Теорема о кодировании в зашумленных каналах.  
    • Теорема Шеннона–Хартли о пропускной способности гауссовского канала.  
    • Бит как новая единица измерения информации.  

  • Историческая справка

    • Шеннон опубликовал статью “Математическая теория связи” в 1948 году.  
    • До этого были разработаны ограниченные теоретико-информационные идеи.  
    • Вклад Людвига Больцмана и Дж. Уилларда Гиббса в термодинамику.  

  • Энтропия и её единицы

    • Энтропия определяется как мера неопределенности случайной величины.  
    • Единицы измерения энтропии включают бит, nat и десятичную цифру.  
    • Энтропия источника информации измеряется в битах на символ.  

  • Энтропия источника

    • Энтропия источника, выдающего независимые и одинаково распределенные символы, равна N ⋅ H битам.  
    • Если символы не независимы, энтропия меньше N ⋅ H.  

  • Информация и энтропия

    • Если каждый бит известен, информация не передается.  
    • Если биты независимы, передается 1000 шеннонов информации.  
    • Энтропия определяется как H(X) = -∑p(x) log p(x).  

  • Совместная энтропия

    • Совместная энтропия двух случайных величин равна сумме их индивидуальных энтропий.  
    • Не путать с перекрестной энтропией.  

  • Условная энтропия

    • Условная энтропия X для Y равна средней условной энтропии по Y.  
    • Важно различать условную энтропию и условную неопределенность.  

  • Взаимная информация

    • Взаимная информация измеряет объем информации, получаемой при наблюдении за одной случайной величиной.  
    • Взаимная информация симметрична и может быть выражена через расхождение Кульбака-Лейблера.  

  • Дивергенция Кульбака-Лейблера

    • Дивергенция Кульбака-Лейблера измеряет количество дополнительных битов для сжатия данных.  
    • Не является истинной метрикой, но может быть интерпретирована как “ненужный сюрприз”.  

  • Направленная информация

    • Направленная информация измеряет информационный поток от одного случайного процесса к другому.  
    • Не симметрична и имеет множество применений в задачах с причинно-следственной связью.  

  • Другие количества

    • Энтропия Реньи, энтропия Цаллиса, дифференциальная энтропия и условная взаимная информация.  
    • Прагматическая информация показывает объем информации, использованной при принятии решения.  

  • Теория кодирования

    • Теория кодирования включает сжатие данных и исправление ошибок.  
    • Сжатие данных устраняет избыточность, исправление ошибок добавляет избыточность для передачи данных.  

  • Теория источника

    • Источник без памяти генерирует независимые одинаково распределенные символы.  
    • Эргодичность и стационарность накладывают менее жесткие ограничения.  

  • Скорость передачи информации

    • Скорость передачи информации определяется как средняя энтропия на символ.  
    • Для стационарных источников скорость равна условной энтропии символа.  
    • Для нестационарных процессов скорость равна пределу совместной энтропии для каждого символа.  

  • Скорость работы источника информации

    • Скорость работы источника информации связана с его избыточностью и сжатием.  
    • Кодирование источника является предметом теории информации.  

  • Пропускная способность канала

    • Коммуникация по каналу является основной мотивацией теории информации.  
    • Каналы часто не могут точно воспроизвести сигнал из-за шума и искажений.  
    • Пропускная способность канала определяется взаимной информацией.  

  • Канальное кодирование

    • Канальное кодирование связано с поиском почти оптимальных кодов для передачи данных по зашумленному каналу.  
    • Пропускная способность конкретных моделей каналов, таких как двоичный симметричный канал и двоичный канал стирания, определяется различными функциями энтропии.  

  • Каналы с памятью и направленной информацией

    • Каналы с памятью определяются условной вероятностью.  
    • Пропускная способность определяется скоростью передачи взаимной информации при отсутствии обратной связи и направленной информации при наличии обратной связи.  

  • Взаимозаменяемая информация

    • Взаимозаменяемая информация не зависит от средств кодирования.  
    • Классические теоретики информации и специалисты по информатике занимаются такой информацией.  

  • Применение в других областях

    • Теория информации применима к криптографии и криптоанализу.  
    • Генераторы псевдослучайных чисел используются в криптографии, но требуют внешних случайных данных.  
    • Сейсморазведка использует теорию информации для улучшения разрешения и четкости изображения.  
    • Семиотика использует концепции теории информации для объяснения идеологии.  
    • Интегрированная организация процессов обработки нейронной информации анализируется с помощью информационно-теоретических методов.  

  • Различные области применения

    • Теория информации также применяется в поисках внеземного разума, черных дыр, биоинформатике и азартных играх.  

  • Основные понятия теории информации

    • Скрытый канал  
    • Сжатие данных  
    • Декодер  
    • Дифференциальная энтропия  
    • Взаимозаменяемая информация  
    • Сложность изменения информации  
    • Информационная энтропия  
    • Совместная энтропия  
    • Дивергенция Кульбака–Лейблера  
    • Взаимная информация  
    • Точечная взаимная информация (PMI)  
    • Приемник (теория информации)  
    • Избыточность  
    • Энтропия Рени  
    • Самоинформация  
    • Расстояние уникальности  
    • Разнообразие  
    • Расстояние Хэмминга  
    • Недоумение  

  • Рекомендации и дальнейшее чтение

    • Классическая работа Шеннона (1948)  
    • Заметки и другие форматы Р.В.Л. Хартли (1928)  
    • Андрей Колмогоров (1968)  
    • Другие журнальные статьи  
    • Учебники по теории информации  
    • Другие книги  
    • Внешние ссылки  

Полный текст статьи:

Теория информации

Похожие статьи:

  1. Пропускная способность канала Оглавление1 Пропускная способность канала1.1 Определение пропускной способности канала1.2 Формальное определение пропускной способности1.3 Аддитивность пропускной способности1.4 Теорема...
  2. Пропускная способность (вычисления) Оглавление1 Пропускная способность (вычислительная)1.1 Определение пропускной способности1.2 Факторы, влияющие на скорость передачи данных1.3 Пропускная способность сети1.4...
  3. Энтропия фон Неймана – Arc.Ask3.Ru Оглавление1 Энтропия фон Неймана1.1 Энтропия фон Неймана1.2 Формула энтропии фон Неймана1.3 Свойства энтропии фон Неймана1.4 Субаддитивность...
  4. Теория информации и теория меры Оглавление1 Теория информации и теория измерений1.1 Определение и свойства энтропии1.2 Примеры энтропии1.3 Энтропия и информация1.4 Многомерная...
  5. Уровень энтропии Оглавление1 Коэффициент энтропии1.1 Основы энтропии1.2 Последовательность энтропий1.3 Обсуждение энтропии1.4 Энтропия для цепей Маркова1.5 Энтропия скрытых марковских...
  6. Условная энтропия Оглавление1 Условная энтропия1.1 Определение условной энтропии1.2 Примеры условной энтропии1.3 Свойства условной энтропии1.4 Правило Байеса и другие...
  7. Совместная энтропия Оглавление1 Совместная энтропия1.1 Определение энтропии1.2 Свойства энтропии1.3 Связь с другими показателями энтропии1.4 Общая дифференциальная энтропия1.5 Свойства...
  8. Пропускная способность сети Оглавление1 Пропускная способность сети1.1 Определение и измерение пропускной способности1.2 Влияние на скорость передачи данных1.3 Факторы, влияющие...
  9. Количество информации Оглавление1 Огромное количество информации1.1 Основы теории информации1.2 Дискретная энтропия1.3 Условная энтропия1.4 Дивергенция Кульбака-Лейблера1.5 Взаимная информация1.6 Дифференциальная...
  10. Нейронное кодирование Оглавление1 Нейронное кодирование1.1 Нейронное кодирование1.2 Потенциалы действия1.3 Последовательности импульсов1.4 Методы анализа1.5 Кодирование и декодирование1.6 Схемы кодирования1.7...
  11. Энтропия в термодинамике и теории информации Оглавление1 Энтропия в термодинамике и теории информации1.1 Определение и свойства энтропии1.2 Термодинамическая энтропия и информация1.3 Принцип...
  12. Бинарная функция энтропии Оглавление1 Бинарная энтропийная функция1.1 Определение бинарной энтропии1.2 Свойства бинарной энтропии1.3 Связь с теорией информации1.4 Производные и...
  13. Мин-энтропия Оглавление1 Минимальная энтропия1.1 Определение минимальной энтропии1.2 Свойства минимальной энтропии1.3 Условные энтропии и их связь с минимальной...
  14. Условная квантовая энтропия Оглавление1 Условная квантовая энтропия1.1 Определение условной квантовой энтропии1.2 Свойства условной квантовой энтропии1.3 Определение энтропии1.4 Эквивалентное рабочее...
  15. Перекрестная энтропия Оглавление1 Перекрестная энтропия1.1 Определение и свойства кросс-энтропии1.2 Математическое определение1.3 Применение в машинном обучении1.4 Минимизация кросс-энтропии1.5 Функция...
  16. Квантовая взаимная информация Оглавление1 Квантовая взаимная информация1.1 Определение квантовой взаимной информации1.2 Мотивация и классическая взаимная информация1.3 Квантово-механический аналог1.4 Определение...
  17. Предельная плотность дискретных точек Оглавление1 Предельная плотность дискретных точек1.1 Основы теории информации1.2 Уточнение формулы Шеннона1.3 Свойства непрерывной энтропии1.4 Практические аспекты1.5...
  18. Теорема Шеннона–Хартли Оглавление1 Теорема Шеннона–Хартли1.1 Основы теории информации1.2 Теорема Шеннона1.3 Примеры и ограничения1.4 Сравнение с законом Хартли1.5 Частотно-зависимый...
  19. Пропускная способность памяти Оглавление1 Пропускная способность памяти1.1 Пропускная способность памяти1.2 Методы измерения1.3 Соглашения об измерениях1.4 Номенклатура и вычисления1.5 Конфигурации...
  20. Условная взаимная информация Оглавление1 Conditional mutual information1.1 Определение и свойства взаимной информации1.2 Примеры и свойства1.3 Разложение и взаимодействие информации1.4...
  21. MP3 Оглавление1 MP3-файл1.1 История и разработка MP31.2 Принцип работы MP31.3 Предшественники и развитие1.4 Влияние и популярность1.5 Разработка...
  22. Кодировка (память) Оглавление1 Кодирование (память)1.1 История кодирования1.2 Типы кодирования1.3 Долгосрочное усиление1.4 Возбуждение и организация мозга1.5 Картографическая деятельность1.6 Молекулярная...

Оставьте комментарий

Прокрутить вверх