Точечная взаимная информация
-
Определение и свойства PMI
- PMI — это мера сходства между двумя событиями, основанная на их совместной вероятности.
- PMI может быть вычислен как логарифм отношения вероятностей событий, разделенных на произведение вероятностей каждого события.
- PMI имеет тенденцию быть положительным для событий, которые часто происходят вместе, и отрицательным для событий, которые редко происходят вместе.
-
Применение PMI
- PMI используется в различных областях, включая теорию информации, лингвистику и химию.
- В компьютерной лингвистике PMI применяется для поиска ассоциаций между словами.
-
Варианты PMI
- Существуют различные варианты PMI, такие как PPMI и npmi, которые устраняют ограничения исходного PMI.
- PMIk — это вариант PMI, который используется для оценки сходства между событиями с разной частотой.
-
Примеры и приложения
- PMI может использоваться для определения сходства между словами в тексте, например, в Википедии.
- PMI следует правилу цепочки, которое аналогично правилу взаимной информации.
-
Рекомендации и внешние ссылки
- Ссылки на демонстрацию PMI на сервере Rensselaer MSR и на диапазон значений PMI от 0 до 1.
Полный текст статьи: