Эмпирический метод Байеса
-
Эмпирические байесовские методы
- Оценивают предварительное распределение вероятностей на основе данных
- Отличаются от стандартных байесовских методов, где распределение фиксируется до получения данных
- Используются для вариационных методов глубокого обучения
-
Иерархическая байесовская модель
- Наблюдаемые данные генерируются на основе ненаблюдаемых параметров
- Параметры рассматриваются как выборки из популяции с гиперпараметрами
- Гиперпараметры считаются взятыми из непараметризованного распределения
-
Теорема Байеса и численные методы
- Интеграл не поддается аналитическому расчету, используется численные методы
- Стохастические методы: цепочка Маркова Монте-Карло, выборка Монте-Карло
- Детерминированные методы: квадратура
-
Эмпирический байесовский метод
- Итеративная схема для разработки приближений к p(θ|y) и p(η|y)
- Приближение к p(η|y) может быть заменено точечной оценкой
- Алгоритм EM используется при резком возрастании p(η|y)
-
Метод Роббинса
- Непараметрический эмпирический метод Байеса (NPEB)
- Используется для прогнозирования θ без знания G
- Оценка маргиналов по эмпирическим частотам
-
Параметрический эмпирический метод Байеса
- Оценка предельного значения m(y|η) и гиперпараметров η
- Использование оценки максимального правдоподобия или разложения по моментам
- Примеры моделей: гамма-модель Пуассона, бета-биномиальная модель, гауссово-гауссова модель
-
Гауссово-гауссовская модель
- Пример эмпирической байесовской оценки
-
Пуассоново-гамма-модель
- Вероятность: распределение Пуассона
- Априор: гамма-распределение (G(α, β))
-
Апостериорное распределение
- Апостериорное распределение также является гамма-распределением
- Задняя плотность имеет вид G(α’, β’), где α’ = y + α и β’ = (1 + 1/β) -1
-
Маргинальный параметр
- Маргинальный параметр является интегралом от заднего по всем Θ, что является отрицательным биномиальным распределением
-
Эмпирический метод Байеса
- Для приближения предельного значения используется оценка максимального правдоподобия (MLE)
- MLE маргинального значения является средним значением апостериорного значения
-
Оценка параметров
- Среднее значение гамма-распределения G(α’, β’) равно α’β’
- Эмпирический метод Байеса предписывает оценивать среднее значение αβ и дисперсию αβ2, используя полный набор эмпирических данных
-
Результирующая оценка
- Результирующая балльная оценка E(θ | y) является средневзвешенным значением выборочного среднего y¯ и предыдущего значения μ = αβ
-
Общие черты эмпирического Байеса
- Точечные оценки для предыдущего (среднее значение) выглядят как средневзвешенное значение выборочной оценки и предыдущей оценки
- Аналогично для оценок дисперсии