Системные файлы Apache
-
Обзор Apache SystemDS
- Система машинного обучения с открытым исходным кодом для data science.
- Поддержка настройки алгоритмов с использованием R-подобных и Python-подобных языков.
- Поддержка нескольких режимов выполнения, включая Spark Batch и Hadoop Batch.
- Автоматическая оптимизация на основе данных и характеристик кластера.
-
История и развитие
- Создана в 2010 году в IBM, направлена на упрощение масштабирования алгоритмов.
- В 2015 году стала частью Apache Spark, а в 2017 получила статус проекта верхнего уровня.
-
Ключевые технологии
- Сжатая линейная алгебра и декларативный язык машинного обучения.
-
Примеры использования
- Анализ основных компонентов и кластеризация DBSCAN с евклидовым расстоянием.
-
Улучшения в SystemDS 2.0.0
- Рефакторинг, основные функции, улучшения и исправления.
- Новые встроенные функции для обработки данных и отладки моделей.
- Улучшения в области отслеживания происхождения и повторного использования.
- Поддержка федеративных операций и облачного развертывания.
- Улучшенная производительность и оптимизация компилятора.
-
Вклад и рекомендации
- Призыв к участию в разработке и создании сообщества.
- Ссылки на внешние ресурсы и сравнения с другими системами.
-
Ссылки
- Веб-сайт Apache SystemML, исследовательский центр IBM и другие ресурсы.