Минимальная длина сообщения

• Определение и применение MML

  • MML — это байесовский метод сравнения статистических моделей, основанный на «Бритве Оккама». 
  • Метод был разработан Крисом Уоллесом и опубликован в 1968 году. 
  • MML не требует использования языка Тьюринга для моделирования данных и отличается от концепции сложности Колмогорова. 

• Теоретические основы

  • В теории Шеннона длина сообщения о событии E определяется как -log2(P(E)). 
  • Вероятность гипотезы H при фиксированных доказательствах E пропорциональна P(E|H)P(H). 
  • Модель с наибольшей апостериорной вероятностью будет иметь самое короткое сообщение. 

• Структура сообщения MML

  • Сообщение MML состоит из двух частей: первая кодирует модель, вторая содержит информацию о данных. 
  • MML заменяет сложность модели на качество подгонки данных. 

• Особенности MML

  • MML может использоваться для сравнения моделей различной структуры, включая смешанные модели. 
  • Метод не зависит от масштаба и статистики и статистически непротиворечив. 
  • MML учитывает точность измерений и может оценивать все параметры со статистической согласованностью. 

• Применение и развитие MML

  • MML использовался с 1968 года и был адаптирован для различных задач машинного обучения. 
  • Были разработаны схемы кодирования MML для различных распределений и видов машинного обучения. 

• Сравнение с другими методами

  • MML отличается от Колмогоровской сложности и минимальной длины описания, которые имеют другие мотивации. 
  • Метод Акаике (AIC) для выбора модели также сравнивается с MML.