Бинарный симметричный канал

• Основы теории кодирования Шеннона

  • Теория кодирования Шеннона описывает связь между скоростью передачи данных и вероятностью ошибок. 
  • Шеннон доказал, что для бинарного симметричного канала (BSC) максимальная скорость передачи данных равна пропускной способности канала. 

• Теорема Шеннона

  • Теорема Шеннона утверждает, что для BSC максимальная скорость передачи данных равна 
  • H 
  • ( 
  • p 
  • ) 
  • , где 
  • вероятность ошибки. 
  • Эта скорость достигается при использовании кода с минимальной длиной блока и минимальной вероятностью ошибки декодирования. 

• Доказательство теоремы Шеннона

  • Доказательство основано на использовании неравенства Чернова и анализе вероятности ошибок для различных длин блоков. 
  • В результате получается верхняя граница для вероятности ошибки декодирования, которая зависит от длины блока и вероятности ошибки. 

• Обратная теорема Шеннона о емкости

  • Обратная теорема утверждает, что скорость передачи данных, равная 1 — 
  • , является наилучшей. 
  • Если скорость передачи данных превышает пропускную способность канала, количество ошибок быстро растет. 

• Коды для BSC

  • Разработка кодов с исправлением ошибок направлена на достижение высокой скорости передачи данных при минимальной доле ошибок. 
  • Первый код, разработанный Форни в 1966 году, представляет собой объединенный код, который эффективно исправляет ошибки. 
  • Современные коды стремятся исправлять ограниченное количество ошибок с высокой скоростью. 
  • Пересказана только часть статьи. Для продолжения перейдите к чтению оригинала.