Перекрестная энтропия
-
Определение и свойства кросс-энтропии
- Кросс-энтропия — это мера различия между двумя распределениями вероятностей.
- Она используется для оценки качества классификации и оптимизации в машинном обучении.
- Она является обобщением энтропии и имеет свойства, аналогичные энтропии.
-
Математическое определение
- Кросс-энтропия определяется как сумма произведений логарифмов вероятностей для всех парных комбинаций классов.
- Она может быть выражена через логарифм вероятности совместного распределения.
-
Применение в машинном обучении
- Кросс-энтропия используется для определения функции потерь в задачах классификации.
- Она часто применяется в задачах бинарной классификации и может быть использована для оптимизации логистической регрессии.
-
Минимизация кросс-энтропии
- Минимизация кросс-энтропии часто используется для оптимизации вероятности редких событий.
- В инженерной литературе принцип минимизации кросс-энтропии известен как принцип минимальной информации о различении.
-
Функция кросс-энтропийных потерь и логистическая регрессия
- Кросс-энтропия может быть использована для определения функции потерь в машинном обучении.
- Она также известна как логарифмическая потеря или логистическая потеря.
- В логистической регрессии она используется для моделирования вероятности модели и оптимизации весов.
-
Измененная стоимость кросс-энтропии
- В некоторых случаях кросс-энтропия может использоваться для поощрения разнообразия в классификационном ансамбле.
- Она позволяет настроить параметр, определяющий разнообразие моделей в ансамбле.
Полный текст статьи: