Оглавление
Алгоритм Бройдена–Флетчера–Гольдфарба–Шанно
-
Обзор алгоритма BFGS
- BFGS – это метод оптимизации, который использует итеративный процесс для нахождения минимума функции.
- Он основан на методе Ньютона и использует аппроксимацию матрицы Гессе для улучшения сходимости.
- Алгоритм BFGS был разработан в 1969 году и широко используется в научных и инженерных приложениях.
-
Процесс оптимизации
- Алгоритм начинается с предположения о начальном векторе и использует обратную матрицу Гессе для обновления вектора.
- После каждого обновления выполняется одномерный поиск для определения оптимального шага.
- Процесс повторяется до тех пор, пока не будет достигнута сходимость.
-
Сходимость и точность
- Сходимость алгоритма BFGS определяется нормой градиента и может быть остановлена при достижении заданного уровня точности.
- Инициализация с помощью единичной матрицы приводит к сходимости к градиентному спуску.
-
Практические аспекты
- В задачах статистической оценки можно оценить вероятностные интервалы на основе обратной матрицы Гессена.
- Алгоритм BFGS может не сходиться к истинной матрице Гессе, особенно в невыпуклых задачах.
-
Известные реализации
- BFGS реализован в различных программных пакетах, включая ALGLIB, GNU Octave, GSL, R, SciPy и Julia.
- Проприетарные реализации BFGS используются в крупномасштабных программных пакетах, таких как Artelys Knitro и MATLAB Optimization Toolbox.
Полный текст статьи: