Стохастический градиентный спуск

От / / Оставьте комментарий

Стохастический градиентный спуск Стохастический градиентный спуск (SGD) — популярный метод оптимизации в машинном обучении.  SGD использует градиент функции потерь для […]

Computational statistics, Convex optimization, Gradient methods, M-estimators, Machine learning algorithms, Statistical approximations, Stochastic optimization, Алгоритмы машинного обучения, Выпуклая оптимизация, Вычислительная статистика, Градиентные методы, М-оценщики, Статистические аппроксимации, Стохастическая оптимизация

Стохастический градиентный спуск

  • Стохастический градиентный спуск (SGD) — популярный метод оптимизации в машинном обучении. 
  • SGD использует градиент функции потерь для обновления параметров модели. 
  • Существуют различные варианты SGD, включая импульс и усреднение стохастического градиентного спуска. 
  • AdaGrad и RMSProp являются модифицированными алгоритмами стохастического градиентного спуска с адаптивной скоростью обучения. 
  • Adam — обновление оптимизатора RMSProp, объединяющее его с методом Momentum. 
  • Существуют основанные на знаках варианты стохастического градиентного спуска, упрощающие Adam. 
  • Поиск по строке с обратным отслеживанием — еще один вариант градиентного спуска, основанный на условии Армихо-Гольдштейна. 
  • Пересказана только часть статьи. Для продолжения перейдите к чтению оригинала. 

Полный текст статьи:

Стохастический градиентный спуск — Википедия

Похожие статьи:

  1. Градиентный спуск Градиентный спуск Градиентный спуск — итеративный метод оптимизации, основанный на минимизации функции с использованием градиента.  Метод...
  2. Стохастическая аппроксимация одновременных возмущений Стохастическая аппроксимация одновременных возмущений Обзор стохастического градиентного спуска (СГС) СГС — это стохастический метод оптимизации, который...
  3. Зеркальный спуск Зеркальный спуск Основы зеркального спуска Зеркальный спуск — это алгоритм оптимизации для нахождения локального минимума дифференцируемой...
  4. Случайный процесс Стохастический процесс Стохастический процесс — это случайный процесс, который имеет различные формы и определения.  Пуассоновский процесс...
  5. Линейный поиск Поиск по строке Основы оптимизации Оптимизация — это процесс нахождения глобального минимума или максимума функции.  Методы...
  6. Координатный спуск Координатный спуск Основы координатного спуска Координатный спуск — это метод оптимизации, который минимизирует значения по координатам...
  7. Стохастическое программирование Стохастическое программирование Основы стохастического программирования Стохастическое программирование — это метод оптимизации, который учитывает неопределенность в данных. ...
  8. Происхождение (математика) Происхождение (математика) Идея нисхождения в математике расширяет интуитивную идею «склеивания» в топологии.  Топология основана на использовании...
  9. Теория поиска Теория поиска Основы теории поиска Поиск — это процесс выбора из множества альтернатив, который может быть...
  10. Стохастический контроль Стохастическое управление Основы стохастического управления Стохастическое управление учитывает неопределенность в наблюдениях и шуме.  Байесовская вероятность используется...
  11. Нелинейный метод сопряженных градиентов Метод нелинейных сопряженных градиентов Основы метода нелинейного сопряженного градиента Метод обобщает линейный сопряженный градиент для нелинейной...
  12. Доказательство бесконечным спуском Доказательство с помощью бесконечного спуска Бесконечный спуск — метод доказательства, основанный на бесконечной последовательности шагов.  Метод...

Оставьте комментарий

Прокрутить вверх