Байесовская оптимизация

• Основы Байесовской оптимизации

  • Байесовская оптимизация — это метод последовательного проектирования для оптимизации функций черного ящика без функциональных форм. 
  • Используется для оптимизации функций с высокой стоимостью оценки, особенно в задачах с ограниченным числом измерений. 

• История и стратегия

  • Термин введен Йонасом Мокусом в 1970-х и 1980-х годах. 
  • Применяется для максимизации функций, где набор точек основан на менее чем 20 измерениях и легко оценивается. 
  • Целевая функция рассматривается как случайная, а предыдущие оценки используются для формирования апостериорного распределения. 

• Методы и функции сбора данных

  • Используются методы кригинга и оценки дерева Парцена для определения распределений. 
  • Функции сбора данных включают вероятность улучшения, ожидаемое улучшение и другие. 

• Применение и оптимизация

  • Байесовская оптимизация применяется в различных областях, включая компьютерную графику, робототехнику и машинное обучение. 
  • Методы оптимизации включают численные методы и методы на основе дерева Парцена. 

• Примеры приложений

  • Оптимизация параметров алгоритмов распознавания лиц, таких как HOG, с использованием метода TPE. 
  • Применение в других областях, включая многоцелевую оптимизацию и активное обучение. 

• Рекомендации

  • Ссылки на другие методы оптимизации и вероятностные понятия для более глубокого изучения темы.