Оглавление
Теория статистического обучения
-
Основы машинного обучения
- Машинное обучение – это процесс обучения алгоритмов для решения задач, которые не могут быть решены людьми.
- Алгоритмы машинного обучения используют данные для создания моделей, которые предсказывают результаты.
-
Обучение с учителем
- Обучение с учителем включает в себя предоставление алгоритму обучающих данных и целевой функции.
- Алгоритм обучения с учителем должен минимизировать разницу между прогнозируемыми и фактическими результатами.
-
Выбор функции потерь
- Функция потерь определяет меру ошибки алгоритма и влияет на скорость сходимости.
- Для регрессии часто используется квадратичная функция потерь, а для классификации – функция 0-1.
-
Регуляризация
- Регуляризация предотвращает переобучение, ограничивая пространство гипотез.
- Регуляризация по Тихонову обеспечивает стабильность и единственность решения.
-
Ограничение эмпирического риска
- Неравенство Хеффдинга используется для оценки вероятности отклонения эмпирического риска от истинного.
- Вероятность максимального отклонения эмпирического риска от истинного ограничена экспоненциальным числом.
-
Методы приближенного градиента
- Сложность Радемахера и измерение Вапника-Червоненкиса используются для оценки сложности алгоритмов машинного обучения.