XGBoost (ускорение)

• Обзор XGBoost

  • XGBoost – это библиотека с открытым исходным кодом для повышения градиента, поддерживающая множество языков программирования. 
  • Она предназначена для масштабируемости, переносимости и распределенных вычислений. 
  • XGBoost используется в соревнованиях по машинному обучению и приобрел популярность в середине 2010-х. 

• История и развитие

  • XGBoost был разработан Тяньци Ченом в рамках сообщества распределенного машинного обучения. 
  • Изначально это было терминальное приложение с конфигурацией libsvm. 
  • После использования в Higgs Machine Learning Challenge XGBoost стал известен в кругах ML. 
  • Были созданы пакеты для Python, R, а также для других языков. 
  • XGBoost интегрирован с scikit-learn и caret для Python и R соответственно. 

• Особенности и алгоритм

  • XGBoost отличается от других алгоритмов повышения градиента грамотным наказанием деревьев, пропорциональным уменьшением конечных узлов и другими особенностями. 
  • Алгоритм XGBoost использует метод Ньютона-Рафсона для оптимизации функции потерь. 

• Награды и рекомендации

  • XGBoost получил премию Джона Чемберса и премию в области физики высоких энергий за машинное обучение.