Распределение Дирихле
-
Определение и свойства
- Распределение Дирихле (Dir(α)) — многомерное обобщение бета-распределения.
- Используется как априорное распределение в байесовской статистике.
- Функция плотности вероятности задается формулой, включающей гамма-функцию.
- Поддержка — открытый стандартный (K − 1)-симплекс.
-
Особые случаи
- Симметричное распределение Дирихле: все элементы вектора параметров имеют одинаковое значение.
- Плоское распределение Дирихле: α = 1, равномерное распределение по открытому стандартному (K − 1)-симплексу.
- Вектор параметров может быть записан как произведение параметра концентрации α и базовой меры n.
-
Свойства
- Моменты случайных величин, распределенных по Дирихле, выражаются через гамма-функции.
- Предельные распределения — бета-распределения.
- Распределение Дирихле сопряжено с категориальным и многочленным распределениями.
-
Приложения
- Используется в байесовских моделях смешения и иерархических байесовских моделях.
- В иерархических байесовских моделях предельное совместное распределение наблюдений — полиномиальное распределение Дирихле.
-
Энтропия и спектр информации
- Дифференциальная энтропия равна ψ(α) ln(α).
- Спектр информации Реньи задается формулой, включающей λ.
-
Энтропия дискретного категориального вектора
- Энтропия дискретного категориального вектора Z с вероятностно-массовым распределением X определяется как условная информационная энтропия Z при условии X.
- Если X имеет симметричное распределение Дирихле, ожидаемое значение энтропии равно [14].
-
Агрегация и нейтралитет
- Если случайные величины с индексами i и j исключить из вектора, их сумма не зависит от других элементов.
- Вектор X называется нейтральным, если XK не зависит от X(−K).
- Любая перестановка X также нейтральна.
-
Характеристическая функция и неравенство
- Характеристическая функция распределения Дирихле является сливающейся формой гипергеометрического ряда Лауричеллы.
- Функция плотности вероятности f(x1, …, xK-1; α1, …, αK) играет ключевую роль в многофункциональном неравенстве.
-
Связанные дистрибутивы и сопряженный априор
- Для K независимо распределенных гамма-распределений можно получить распределение Дирихле.
- Распределение Дирихле имеет сопряженный априор, который является экспоненциальным семейным распределением.
-
Возникновение и применение
- Распределения Дирихле используются в байесовских моделях смешения и иерархических байесовских моделях.
- Параметр концентрации определяет, насколько «сконцентрирована» вероятностная масса распределения Дирихле.
-
Примеры использования
- Распределение Дирихле используется для резки струн на K кусков разной длины.
- Урна Поля с K шариками разных цветов имеет предельное распределение Дирихле при бесконечном количестве розыгрышей.
-
Генерация случайных переменных
- Из гамма-распределения можно получить выборку случайного вектора из K-мерного распределения Дирихле.
-
Преобразование переменных
- Переменные y и x связаны через формулу x = ∑i=1K yi.
- Каждая переменная x находится в диапазоне от 0 до 1.
- Сумма переменных x также находится в диапазоне от 0 до 1.
-
Формула изменения переменных
- Используется формула P(x) = P(y(x)) |∂y/∂x|.
- Якобиан преобразования записывается как определитель.
-
Оценка определителя
- Определитель можно оценить, добавив числа, кратные одной строке.
- Определитель равен x¯K-1.
-
Подстановка в объединенный pdf
- Подставляя x в объединенный pdf, получаем произведение pdf Дирихле и гамма-pdf.
- Переменные Дирихле и гамма независимы, гамма-pdf можно интегрировать.
-
Пример кода на Python
- Приведен пример кода на Python для рисования образца.
- Формулировка верна независимо от параметризации гамма-распределений.
-
Маргинальные бета-дистрибутивы
- Менее эффективный алгоритм основан на бета-зависимых распределениях.
- Итеративная процедура соответствует интуиции «перерезания струны».
-
Примеры для конкретных значений альфа
- При α1 = … = aK = 1: выборка из распределения находится через интервалы [0, 1].
- При α1 = … = aK = 1/2: выборка находится через стандартное нормальное распределение.
-
Дополнительные распределения
- Обобщенное распределение Дирихле
- Сгруппированное распределение Дирихле
- Инвертированное распределение Дирихле
- Скрытое распределение Дирихле
- Процесс Дирихле
- Матричное вариационное распределение Дирихле