Симметричный ранг-один
-
Обзор метода SR1
- SR1 — это квазиньютоновский метод для обновления гессиана на основе градиентов.
- Метод обобщает секущий метод для многомерных задач и сохраняет симметрию матрицы гессиана.
- Теоретически, последовательность аппроксимаций сходится к истинной гессианской, но на практике SR1 демонстрирует более быстрый прогресс.
- SR1 особенно эффективен для разреженных и частично разделимых задач.
-
Математическая основа метода SR1
- Функция f(x) имеет градиент ∇f и матрицу Гесса B.
- Используется ряд Тейлора для аппроксимации градиента и матрицы Гесса.
- Секущее уравнение не всегда имеет единственное решение, но SR1 находит симметричное решение, близкое к текущему приближению Bk.
-
Проблемы и решения метода SR1
- Обновление может быть не положительно определенным из-за возможности отрицательного знаменателя.
- Предложено ограничение на знаменатель для предотвращения исчезновения знаменателя.
- Метод SR1 был открыт заново несколько раз, и существуют модификации для улучшения его стабильности.
-
Сравнение с другими методами оптимизации
- SR1 сравнивается с популярными методами BFGS и DFP, демонстрируя более быстрый прогресс в направлении истинной гессианской матрицы.
- В статье также упоминаются другие методы оптимизации, такие как метод Бройдена и метод Ньютона.
Полный текст статьи: