Многомерная логистическая регрессия
-
Основы мультиномиальной логистической регрессии
- Мультиномиальная логистическая регрессия используется для классификации данных с несколькими категориями.
- Модель основана на логистической регрессии, но с K-1 независимыми регрессиями вместо одной.
- Вероятности для каждой категории определяются как экспоненциальные бета-коэффициенты.
-
Математическая формулировка
- Функция вероятности для каждой категории определяется как произведение вероятностей для каждой независимой переменной.
- Функция правдоподобия модели является суммой логарифмов вероятностей для всех категорий.
-
Идентификация коэффициентов
- Коэффициенты регрессии не могут быть однозначно идентифицированы, так как все вероятности должны быть равны 1.
- Один из коэффициентов может быть установлен на ноль, что упрощает анализ остальных.
-
Модель скрытой переменной
- Модель может быть сформулирована как модель скрытой переменной, где скрытая переменная связана с полезностью выбора.
- Скрытая переменная распределена по стандартному распределению экстремальных значений.
-
Оценка перехвата и функция правдоподобия
- Перехват в мультиномиальной логистической регрессии представляет собой изменение вероятности по сравнению с контрольной категорией.
- Функция правдоподобия является перекрестной энтропией.
-
Применение в обработке естественного языка
- В обработке естественного языка мультиномиальные LR-классификаторы используются как альтернатива наивным байесовским классификаторам.
- Обучение в мультиномиальной логистической регрессии происходит медленнее, чем в наивном байесовском классификаторе.