Онлайн-машинное обучение
-
Основы машинного обучения
- Машинное обучение — это процесс обучения алгоритмов для решения задач, которые не могут быть решены вручную.
- Обучение с учителем включает в себя предоставление алгоритму обучающих данных и целевого значения для каждого примера.
- Обучение без учителя включает в себя обучение алгоритмов на основе данных без целевого значения.
-
Линейная регрессия
- Линейная регрессия — это метод машинного обучения, который пытается предсказать непрерывные значения на основе набора данных.
- Линейная регрессия включает в себя минимизацию суммы квадратов ошибок между прогнозируемыми и фактическими значениями.
- Существуют различные методы оптимизации для решения задачи линейной регрессии, включая градиентный спуск и рекурсивный метод наименьших квадратов.
-
Стохастический градиентный спуск
- Стохастический градиентный спуск — это метод оптимизации, который использует стохастический градиент для обновления параметров модели.
- Сложность алгоритма стохастического градиентного спуска составляет
- O
- (
- n
- d
- )
- , а требования к хранению постоянны при
- .
- Для сходимости средней итерации можно использовать размер шага
- γ
- i
- ≈
- 1
-
Постепенный стохастический градиентный спуск
- Метод инкрементального градиента включает в себя выбор последовательности учебных пунктов для обновления параметров модели.
- Постепенный градиент позволяет минимизировать эмпирический риск и может быть полезен для задач с суммами многих слагаемых в целевой функции.
- Пересказана только часть статьи. Для продолжения перейдите к чтению оригинала.