Оглавление
Квазиньютоновский метод
-
Основы квазиньютоновских методов
- Квазиньютоновские методы – это алгоритмы оптимизации, которые используют аппроксимации вместо точных матриц Гессе.
- Они основаны на методе Ньютона и используют последовательные обновления матрицы Гессе для нахождения локальных экстремумов функций.
-
История и развитие
- Первый квазиньютоновский алгоритм был разработан Уильямом К. Дэвидоном в 1959 году.
- Флетчер и Пауэлл популяризировали формулу обновления DFP в 1963 году.
- Современные методы включают SR1, метод BHHH, BFGS и его расширение L-BFGS.
-
Преимущества перед методом Ньютона
- Квазиньютоновские методы не требуют инвертирования матрицы Гессе, что является дорогостоящим процессом.
- Они обычно дают оценку матрицы Гессе напрямую, что упрощает вычисления.
-
Применение и обновление матрицы Гессе
- Квазиньютоновские методы используют ряд Тейлора для аппроксимации второго порядка функции.
- Они различаются по выбору решения секущего уравнения и могут быть оптимизированы для минимизации нормы обновления.
-
Примеры и реализации
- Существуют различные квазиньютоновские методы, включая BFGS, DFP и другие.
- Они широко используются в научных и инженерных приложениях и доступны в различных реализациях на разных языках программирования.
-
Связь с матричной инверсией и оптимизациями
- Квазиньютоновские методы могут сходиться к обратному гессиану, если функция является выпуклой квадратичной.
- Они могут использоваться для решения задач оптимизации, включая минимизацию функций с ограничениями.
Полный текст статьи: