Совместная энтропия

Совместная энтропия Определение энтропии Энтропия — мера неопределенности в теории информации.  Общая энтропия набора случайных величин — сумма индивидуальных энтропий.  […]

Совместная энтропия

  • Определение энтропии

    • Энтропия — мера неопределенности в теории информации. 
    • Общая энтропия набора случайных величин — сумма индивидуальных энтропий. 
  • Свойства энтропии

    • Энтропия всегда неотрицательна. 
    • Общая энтропия больше или равна сумме индивидуальных энтропий. 
    • Общая энтропия меньше или равна сумме индивидуальных энтропий, если переменные статистически независимы. 
  • Связь с другими показателями энтропии

    • Условная энтропия определяется через совместную энтропию. 
    • В квантовой теории информации энтропия обобщается на квантовую энтропию. 
  • Общая дифференциальная энтропия

    • Дифференциальная энтропия применяется к непрерывным случайным величинам. 
    • Определяется как интеграл от совместной плотности вероятности. 
    • Интеграл может не существовать, в этом случае энтропия не определена. 
  • Свойства дифференциальной энтропии

    • Дифференциальная энтропия меньше или равна сумме энтропий отдельных случайных величин. 
    • Существует цепное правило для двух случайных величин. 
    • Обобщается для более чем двух случайных величин. 
  • Применение совместной дифференциальной энтропии

    • Используется для определения взаимной информации между непрерывными случайными величинами. 

Полный текст статьи:

Совместная энтропия — Википедия

Оставьте комментарий

Прокрутить вверх