Градиентный спуск

От / / Оставьте комментарий

Градиентный спуск Градиентный спуск – итеративный метод оптимизации, основанный на минимизации функции с использованием градиента.  Метод работает в пространствах с […]

First order methods, Gradient methods, Mathematical optimization, Optimization algorithms and methods, Алгоритмы и методы оптимизации, Градиентные методы, Математическая оптимизация, Методы первого порядка

Градиентный спуск

  • Градиентный спуск – итеративный метод оптимизации, основанный на минимизации функции с использованием градиента. 
  • Метод работает в пространствах с любым количеством измерений и может быть использован для решения систем линейных уравнений и нелинейных уравнений. 
  • Градиентный спуск может занять много итераций для достижения локального минимума с требуемой точностью. 
  • Предварительная обработка может быть использована для устранения медленной конвергенции и повышения скорости сходимости. 
  • Методы, основанные на методе Ньютона и инверсии Гессиана, могут быть лучшими альтернативами градиентному спуску. 
  • Градиентный спуск можно рассматривать как применение метода Эйлера для решения обыкновенных дифференциальных уравнений. 
  • Пересказана только часть статьи. Для продолжения перейдите к чтению оригинала. 

Полный текст статьи:

Градиентный спуск — Википедия

Похожие статьи:

  1. Зеркальный спуск Оглавление1 Зеркальный спуск1.1 Основы зеркального спуска1.2 История и мотивация1.3 Формулировка1.4 Расширения и рекомендации2 Зеркальный спуск —...
  2. Стохастический градиентный спуск Стохастический градиентный спуск Стохастический градиентный спуск (SGD) – популярный метод оптимизации в машинном обучении.  SGD использует...
  3. Машинное обучение онлайн Оглавление1 Онлайн-машинное обучение1.1 Основы машинного обучения1.2 Линейная регрессия1.3 Стохастический градиентный спуск1.4 Постепенный стохастический градиентный спуск1.5 Полный...
  4. Навыки подводного плавания Оглавление1 Навыки подводного плавания1.1 Навыки подводного плавания с аквалангом1.2 Подготовка и облачение в водолазный костюм1.3 Подготовка...
  5. Скорость обучения Оглавление1 Скорость обучения1.1 Основные понятия машинного обучения1.2 Методы машинного обучения1.3 Алгоритмы машинного обучения2 Скорость обучения —...
  6. Восхождение и спуск (дайвинг) Оглавление1 Ascending and descending (diving)1.1 Процедуры погружения и всплытия1.2 Погружение с аквалангом1.3 Погружение с поверхности1.4 Погружение...
  7. Международная конференция по машинному обучению Оглавление1 Международная конференция по машинному обучению1.1 Основные подходы к обучению в ИИ1.2 Методы машинного обучения1.3 Автоматические...
  8. Координатный спуск Оглавление1 Координатный спуск1.1 Основы координатного спуска1.2 Описание алгоритма1.3 Дифференцируемый случай1.4 Ограничения и приложения1.5 Рекомендации2 Координатный спуск...
  9. Оценка максимального правдоподобия Оглавление1 Оценка максимального правдоподобия1.1 Оценка максимального правдоподобия (MLE)1.2 Логика и свойства MLE1.3 Принципы MLE1.4 Оценка плотности...
  10. Нелинейный метод сопряженных градиентов Оглавление1 Метод нелинейных сопряженных градиентов1.1 Основы метода нелинейного сопряженного градиента1.2 Процесс оптимизации1.3 Эволюция направления поиска1.4 Выбор...
  11. Хромосомная инверсия Оглавление1 Хромосомная инверсия1.1 Определение и механизм инверсий1.2 Типы и размеры инверсий1.3 Влияние на рекомбинацию и фертильность1.4...
  12. Хромосомная инверсия Оглавление1 Хромосомная инверсия1.1 Определение и механизм инверсий1.2 Типы и размеры инверсий1.3 Влияние на рекомбинацию и фертильность1.4...
  13. Многоугольник Ньютона Оглавление1 Многоугольник Ньютона1.1 Определение и свойства многоугольника Ньютона1.2 Факторизация многочленов1.3 Применение многоугольника Ньютона1.4 История и связь...
  14. Уравнение в частных производных первого порядка Оглавление1 Дифференциальное уравнение в частных производных первого порядка1.1 Основные понятия дифференциальных уравнений1.2 Интегрирование дифференциальных уравнений1.3 Интегрирование...
  15. Верно пологий спуск Оглавление1 Точно ровный спуск1.1 Определение и свойства категории модулей1.2 Определение и свойства категории колец1.3 Определение и...
  16. Уравнения Навье–Стокса Оглавление1 Уравнения Навье–Стокса1.1 Уравнения Навье–Стокса1.2 Основные свойства1.3 Решение уравнений1.4 Общие уравнения сплошной среды1.5 Конвективное ускорение1.6 Сжимаемый...
  17. Преобразование Фурье Оглавление1 Преобразование Фурье1.1 Преобразование Фурье1.2 История и применение1.3 Определение и свойства1.4 Интегрируемые функции Лебега1.5 Унитарность и...
  18. Алгоритм Бройдена–Флетчера–Гольдфарба–Шенно Оглавление1 Алгоритм Бройдена–Флетчера–Гольдфарба–Шанно1.1 Обзор алгоритма BFGS1.2 Процесс оптимизации1.3 Сходимость и точность1.4 Практические аспекты1.5 Известные реализации2 Алгоритм...
  19. Фрактал Ньютона Фрактал Ньютона Фрактал Ньютона – фрактал, связанный с методом Ньютона для решения многочленов.  Метод Ньютона делит...
  20. Решатель Римана Оглавление1 Решатель Римана1.1 Механика1.2 Электромагнетизм1.3 Мультифизика1.4 Физика элементарных частиц1.5 Термодинамика1.6 Моделирование1.7 Азбука Морзе/Дальнобойный потенциал1.8 Потенциал Леннарда-Джонса1.9...
  21. Сухой костюм Оглавление1 Сухой костюм1.1 Назначение и особенности сухих костюмов1.2 Различия между сухими и гидрокостюмами1.3 Основные компоненты и...
  22. BFGS с ограниченной памятью Оглавление1 BFG с ограниченной памятью1.1 Обзор метода L-BFGS1.2 История и развитие1.3 Рекурсия и обновление гессиана1.4 Применение...

Оставьте комментарий