BFG с ограниченной памятью
-
Обзор метода L-BFGS
- L-BFGS — это метод оптимизации, основанный на алгоритме BFGS.
- Он используется для минимизации функций с ограничениями и недифференцируемыми компонентами.
- Метод использует рекурсию для вычисления направления спуска и обновления гессиана.
-
История и развитие
- L-BFGS был разработан в 1980-х годах и является модификацией BFGS для работы с ограничениями.
- Он был предложен в 1989 году и получил широкое распространение благодаря своей эффективности.
- В 1990-х годах были разработаны различные варианты L-BFGS, включая L-BFGS-B для обработки связанных ограничений.
-
Рекурсия и обновление гессиана
- Рекурсия L-BFGS использует последовательность векторов для вычисления направления спуска.
- Обновление гессиана включает в себя определение направления поиска и масштабирование исходной матрицы.
- Поиск по линии Вольфа используется для обеспечения стабильности обновления BFGS.
-
Применение и модификации
- L-BFGS широко используется в задачах машинного обучения, включая подбор моделей и условных случайных полей.
- Существуют модификации L-BFGS для работы с функциями с ограничениями и недифференцируемыми компонентами.
-
Реализация и приложения
- Известные реализации L-BFGS включают ALGLIB, optim от R и SciPy.
- L-BFGS-B и OWL-QN являются популярными вариантами метода.
-
Цитируемые работы
- В статье приведены ссылки на дополнительные ресурсы и литературу по методу L-BFGS.
Полный текст статьи: