Оглавление
CMA-ES
-
Обзор CMA-ES
- CMA-ES – это стохастический метод оптимизации, разработанный для задач с непрерывными переменными.
- Он основан на идее естественного градиента и использует ковариационную матрицу для управления размером шага.
-
История и развитие
- CMA-ES был разработан в 1992 году и является развитием метода адаптивной выборки.
- Он был разработан для решения задач оптимизации с непрерывными переменными и стал популярным благодаря своей простоте и эффективности.
-
Основные принципы
- CMA-ES использует естественный градиент для обновления параметров распределения.
- Он не зависит от параметризации распределения и использует оценку CDF для определения весов.
- Алгоритм инвариантен к строго возрастающим функциям и имеет свойства стационарности и беспристрастности.
-
Математические основы
- CMA-ES основан на использовании ковариационной матрицы для управления размером шага и обновления параметров.
- Он использует естественный градиент для минимизации целевой функции и имеет явные выражения для обновлений параметров.
-
Инвариантность и обобщение
- CMA-ES обладает свойствами инвариантности, которые позволяют ему работать с различными функциями и преобразованиями.
- Алгоритм устойчив к масштабированию и вращению пространства поиска, что усиливает его обобщающую способность.
- Пересказана только часть статьи. Для продолжения перейдите к чтению оригинала.