Зеркальный спуск

От / / Оставьте комментарий

Оглавление1 Зеркальный спуск1.1 Основы зеркального спуска1.2 История и мотивация1.3 Формулировка1.4 Расширения и рекомендации2 Зеркальный спуск — Википедия Зеркальный спуск Основы […]

Gradient methods, Mathematical optimization, Optimization algorithms and methods, Алгоритмы и методы оптимизации, Градиентные методы, Математическая оптимизация

Зеркальный спуск

  • Основы зеркального спуска

    • Зеркальный спуск – это алгоритм оптимизации для нахождения локального минимума дифференцируемой функции. 
    • Обобщает градиентный спуск и мультипликативные веса. 

  • История и мотивация

    • Предложен Немировски и Юдиным в 1983 году. 
    • Используется для минимизации приближения первого порядка к функции с добавленным расстоянием до текущего решения. 

  • Формулировка

    • Даны выпуклая функция для оптимизации и дифференцируемая выпуклая функция определения расстояния. 
    • Начальное решение выбирается из выпуклого множества, и на каждой итерации выполняется обновление в двойственном пространстве с использованием градиента функции определения расстояния. 

  • Расширения и рекомендации

    • В онлайн-оптимизации известен как Онлайн-зеркальный спуск (OMD). 
    • Упоминаются другие алгоритмы оптимизации, такие как градиентный спуск, метод мультипликативного обновления веса и алгоритм хеджирования. 

Полный текст статьи:

Зеркальный спуск — Википедия

Похожие статьи:

  1. Выпуклая функция – Arc.Ask3.Ru Оглавление1 Выпуклая функция1.1 Определение выпуклых функций1.2 Свойства выпуклых функций1.3 Неравенство Йенсена1.4 Определение выпуклости1.5 Альтернативные наименования1.6 Свойства...
  2. Ортогональная выпуклая оболочка Оглавление1 Ортогональная выпуклая оболочка1.1 Определение ортогональной выпуклой оболочки1.2 Свойства ортогональной выпуклой оболочки1.3 Примеры ортогональных выпуклых оболочек1.4...
  3. Цикл foreach Оглавление1 Для каждого цикла1.1 Обзор итерационных циклов1.2 Синтаксис итерации1.3 Примеры итерации1.4 Поддержка итерации в языках программирования1.5...
  4. Градиентный спуск Градиентный спуск Градиентный спуск – итеративный метод оптимизации, основанный на минимизации функции с использованием градиента.  Метод...
  5. Координатный спуск Оглавление1 Координатный спуск1.1 Основы координатного спуска1.2 Описание алгоритма1.3 Дифференцируемый случай1.4 Ограничения и приложения1.5 Рекомендации2 Координатный спуск...
  6. Дельта-функция Дирака Оглавление1 Дельта-функция Дирака1.1 Определение и свойства дельта-функции Дирака1.2 История и мотивация1.3 Математическая строгость1.4 Применение в физике...
  7. Машинное обучение онлайн Оглавление1 Онлайн-машинное обучение1.1 Основы машинного обучения1.2 Линейная регрессия1.3 Стохастический градиентный спуск1.4 Постепенный стохастический градиентный спуск1.5 Полный...
  8. Зеркальная подсветка Оглавление1 Зеркальная подсветка1.1 Основы зеркального отражения1.2 Математическое описание зеркального отражения1.3 Оптимизация зеркального отражения1.4 Использование зеркального отражения...
  9. Стохастический градиентный спуск Стохастический градиентный спуск Стохастический градиентный спуск (SGD) – популярный метод оптимизации в машинном обучении.  SGD использует...
  10. Восхождение и спуск (дайвинг) Оглавление1 Ascending and descending (diving)1.1 Процедуры погружения и всплытия1.2 Погружение с аквалангом1.3 Погружение с поверхности1.4 Погружение...
  11. Выпуклое сопряжение Оглавление1 Выпуклый сопряженный1.1 Определение выпуклой функции1.2 Свойства выпуклых функций1.3 Выпуклое сопряжение1.4 Примеры выпуклых функций1.5 Неравенство Фенчела1.6...
  12. Выпуклое сопряжение Оглавление1 Выпуклый сопряженный1.1 Определение выпуклой функции1.2 Свойства выпуклых функций1.3 Выпуклое сопряжение1.4 Примеры выпуклых функций1.5 Неравенство Фенчела1.6...
  13. Оценка максимального правдоподобия Оглавление1 Оценка максимального правдоподобия1.1 Оценка максимального правдоподобия (MLE)1.2 Логика и свойства MLE1.3 Принципы MLE1.4 Оценка плотности...
  14. Квадратурный зеркальный фильтр Оглавление1 Квадратурный зеркальный фильтр1.1 Основы квадратурного зеркального фильтра1.2 Применение в аудио/голосовых кодеках1.3 Связь с другими фильтрами...
  15. Фитнес-функция Оглавление1 Функция фитнеса1.1 Основы оптимизации1.2 Методы оптимизации1.3 Функция пригодности1.4 Методы оптимизации по Парето1.5 Каскадная взвешенная сумма1.6...
  16. Фитнес-функция Оглавление1 Функция фитнеса1.1 Основы оптимизации1.2 Методы оптимизации1.3 Функция пригодности1.4 Методы оптимизации по Парето1.5 Каскадная взвешенная сумма1.6...
  17. Выпуклая комбинация Оглавление1 Выпуклая комбинация1.1 Определение выпуклой комбинации1.2 Формальное определение1.3 Примеры и свойства1.4 Связанные конструкции1.5 Рекомендации и внешние...
  18. Преобразование Фурье Оглавление1 Преобразование Фурье1.1 Преобразование Фурье1.2 История и применение1.3 Определение и свойства1.4 Интегрируемые функции Лебега1.5 Унитарность и...
  19. Выпуклая оптимизация Выпуклая оптимизация Выпуклая оптимизация – раздел математической оптимизации, изучающий минимизацию выпуклых функций над выпуклыми множествами.  Задачи...
  20. Функция Invex Оглавление1 Вызывающая функция1.1 Определение выпуклой функции1.2 Свойства выпуклых функций1.3 Примеры выпуклых функций1.4 Инварианты выпуклых функций1.5 Инверсия...
  21. Логарифмически выпуклая функция Оглавление1 Логарифмически выпуклая функция1.1 Определение и свойства логарифмически выпуклых функций1.2 Достаточные условия логарифмической выпуклости1.3 Примеры логарифмически...
  22. Система взвешивания для дайвинга Оглавление1 Diving weighting system1.1 Назначение и функции систем утяжеления1.2 Требования к утяжелению1.3 Определение необходимого веса1.4 Распределение...

Оставьте комментарий

Прокрутить вверх