История теории информации
-
Основы теории информации
- Теория информации — это наука о передаче и хранении данных.
- Клод Шеннон разработал теорию информации в 1948 году, основываясь на работах Хартли и Найквиста.
- Шеннон ввел понятие энтропии как меры неопределенности и предложил количественную модель коммуникации.
-
Ранние телекоммуникации и их связь с теорией информации
- Телеграфия использовала азбуку Морзе для передачи информации с разной скоростью.
- Частотная модуляция и вокодер были разработаны для уменьшения полосы пропускания и улучшения качества передачи.
-
Количественные представления информации
- Гарри Найквист и Ральф Хартли предложили количественные оценки информации и интеллекта в 1920-х годах.
- Хартли определил информацию как способность получателя распознавать символы, а не их значение.
- Информация Хартли используется для логарифмирования числа возможностей.
-
Энтропия в статистической механике
- Людвиг Больцман ввел энтропию как меру распределения состояний частиц в газе.
- Гиббс расширил определение энтропии, применив его к распределению вероятностей.
- Шеннон и фон Нейман использовали термин «энтропия» для своей теории информации, несмотря на его связь с термодинамикой.
-
Развитие теории информации после 1948 года
- Статья Шеннона «Математическая теория коммуникации» заложила основу для современной теории информации.
- С тех пор были разработаны различные методы кодирования и сжатия данных, включая Хаффмана, Рида-Мюллера и другие.
- Теория информации оказала влияние на развитие технологий передачи и хранения данных, таких как компакт-диски и мобильные телефоны.
Полный текст статьи: