Оглавление
Минимальная длина сообщения
-
Определение и применение MML
- MML – это байесовский метод сравнения статистических моделей, основанный на “Бритве Оккама”.
- Метод был разработан Крисом Уоллесом и опубликован в 1968 году.
- MML не требует использования языка Тьюринга для моделирования данных и отличается от концепции сложности Колмогорова.
-
Теоретические основы
- В теории Шеннона длина сообщения о событии E определяется как -log2(P(E)).
- Вероятность гипотезы H при фиксированных доказательствах E пропорциональна P(E|H)P(H).
- Модель с наибольшей апостериорной вероятностью будет иметь самое короткое сообщение.
-
Структура сообщения MML
- Сообщение MML состоит из двух частей: первая кодирует модель, вторая содержит информацию о данных.
- MML заменяет сложность модели на качество подгонки данных.
-
Особенности MML
- MML может использоваться для сравнения моделей различной структуры, включая смешанные модели.
- Метод не зависит от масштаба и статистики и статистически непротиворечив.
- MML учитывает точность измерений и может оценивать все параметры со статистической согласованностью.
-
Применение и развитие MML
- MML использовался с 1968 года и был адаптирован для различных задач машинного обучения.
- Были разработаны схемы кодирования MML для различных распределений и видов машинного обучения.
-
Сравнение с другими методами
- MML отличается от Колмогоровской сложности и минимальной длины описания, которые имеют другие мотивации.
- Метод Акаике (AIC) для выбора модели также сравнивается с MML.
Полный текст статьи: