Бинарная энтропийная функция
-
Определение бинарной энтропии
- Энтропия процесса Бернулли с вероятностью p одного из двух значений.
- Формула энтропии зависит от основания логарифма, e для натуральных логарифмов и 2 для двоичного логарифма.
-
Свойства бинарной энтропии
- При p = 1/2 энтропия достигает максимума в 1 бит.
- При p = 0 или p = 1 энтропия равна 0, указывая на отсутствие неопределенности.
- Бинарная энтропия является частным случаем энтропии распределения Бер.
-
Связь с теорией информации
- Энтропия считается мерой неопределенности в сообщении.
- При p = 0 неопределенность отсутствует, при p = 1 результат однозначен, при p = 1/2 неопределенность максимальна.
-
Производные и выпуклость
- Производная бинарной энтропии выражается через логит-функцию.
- Выпуклое сопряжение бинарной энтропии с основанием e является отрицательной функцией softplus.
- Минимизация логистических потерь соответствует максимизации энтропии, что соответствует принципу максимальной энтропии.
-
Ряд Тейлора и границы
- Ряд Тейлора бинарной энтропии при p = 1/2 сходится к бинарной энтропии.
- Существуют границы для энтропии при 0 < p < 1.
-
Рекомендации и дальнейшее чтение
- Упомянута книга Маккея для дополнительного чтения по теории информации.
Полный текст статьи: