Информация о рыбаке
-
Определение и свойства информации Фишера
- Информация Фишера – это мера неопределенности в распределении вероятностей.
- Она связана с энтропией и взаимной информацией, но имеет более простую форму.
- Информация Фишера может быть вычислена для дискретных и непрерывных распределений.
-
Вычисление информации Фишера
- Для дискретного распределения она равна логарифму вероятности события.
- Для непрерывного распределения она равна интегралу от логарифма плотности вероятности.
-
Информационная матрица Фишера
- В случае N параметров, она представляет собой матрицу N × N, которая является положительной полуопределенной.
- Она может быть использована для определения римановой метрики в N-мерном пространстве параметров.
-
Ортогональные параметры и сингулярные статистические модели
- Ортогональные параметры облегчают анализ статистических моделей.
- Сингулярные статистические модели включают нормальные смеси, биномиальные смеси и другие.
-
Многомерное нормальное распределение и его информационная матрица Фишера
- Для многомерного нормального распределения информационная матрица Фишера имеет специальную форму.
- Она может быть отождествлена с матрицей коэффициентов нормальных уравнений теории оценивания наименьших квадратов.
-
Правило цепочки и F-расхождение
- Информация Фишера обладает свойством разложения по цепочкам правил.
- F-расхождение определяется выпуклой функцией, которая используется для измерения дивергенции распределений.
- Пересказана только часть статьи. Для продолжения перейдите к чтению оригинала.
Полный текст статьи: