Точность и отзывчивость
-
Основы классификации
- Классификация – это процесс отнесения объектов к заранее определенным категориям.
- Классификация может быть бинарной (два класса) или многоклассовой (более двух классов).
-
Показатели эффективности классификации
- Точность – это доля правильно классифицированных объектов.
- Отзывчивость – это доля правильно классифицированных положительных объектов.
- F-мера – это среднее гармоническое значение точности и отзывчивости.
- Прогнозируемый показатель положительных состояний (PPCR) – это процент от общего числа населения, отмеченного классификатором.
-
Проблемы с точностью при несбалансированных данных
- Точность может быть обманчивой при несбалансированных наборах данных.
- Сбалансированная точность (bACC) является общим показателем производительности модели.
- Точность зависит от соотношения классов в данных.
-
Визуализация показателей
- Графики точного воспроизведения более информативны для оценки бинарных классификаторов на основе несбалансированных данных.
-
Взвешивание дисбаланса
- Взвешивание элементов матрицы путаницы напрямую соотносит их с опорными значениями для каждого класса.
-
Критика F-меры
- F-мера может быть подвергнута критике за предвзятость в качестве показателя оценки.
-
Дополнительные параметры и стратегии
- Существуют другие параметры и стратегии для оценки эффективности информационно-поисковых систем, такие как AUC или псевдо-R-квадрат.