Зеркальный спуск

• Основы зеркального спуска

  • Зеркальный спуск — это алгоритм оптимизации для нахождения локального минимума дифференцируемой функции. 
  • Обобщает градиентный спуск и мультипликативные веса. 

• История и мотивация

  • Предложен Немировски и Юдиным в 1983 году. 
  • Используется для минимизации приближения первого порядка к функции с добавленным расстоянием до текущего решения. 

• Формулировка

  • Даны выпуклая функция для оптимизации и дифференцируемая выпуклая функция определения расстояния. 
  • Начальное решение выбирается из выпуклого множества, и на каждой итерации выполняется обновление в двойственном пространстве с использованием градиента функции определения расстояния. 

• Расширения и рекомендации

  • В онлайн-оптимизации известен как Онлайн-зеркальный спуск (OMD). 
  • Упоминаются другие алгоритмы оптимизации, такие как градиентный спуск, метод мультипликативного обновления веса и алгоритм хеджирования.