Дивергенция Кульбака–Лейблера
-
Определение и свойства
- Дивергенция Кульбака-Лейблера (DKL) — мера различия между двумя вероятностными распределениями.
- DKL является обобщением энтропии и используется в теории информации и статистике.
- DKL неотрицательна и равна нулю при равенстве распределений.
-
Геометрическая интерпретация
- DKL может быть интерпретирована как расстояние между распределениями в пространстве вероятностей.
- DKL имеет форму асимметричной обобщенной формы квадрата расстояния.
-
Финансовая интерпретация
- DKL связана с финансовой доходностью и рисками, определяя треугольники на множестве вероятностей.
-
Мотивация и свойства
- DKL интерпретируется как избыточная энтропия, связанная с передачей информации.
- DKL удовлетворяет определенным свойствам, включая неравенство Гиббса и инвариантность при преобразованиях параметров.
-
Связь с другими статистическими расхождениями
- DKL является членом класса статистических расхождений, включая f-дивергенцию.
-
Применение в теории игр
- DKL используется для анализа финансовых рисков, связанных с инвестициями и рынками.
-
Симметричная дивергенция
- Существует симметричная форма DKL, которая может быть полезна в некоторых случаях.
- Пересказана только часть статьи. Для продолжения перейдите к чтению оригинала.
Полный текст статьи: