Оглавление
- 1 Гиперпараметр (машинное обучение)
- 1.1 Определение и классификация гиперпараметров
- 1.2 Классификация гиперпараметров
- 1.3 Важность гиперпараметров
- 1.4 Методы оптимизации гиперпараметров
- 1.5 Влияние гиперпараметров на обучение и тестирование
- 1.6 Сложность изучения гиперпараметров
- 1.7 Неподготовляемые гиперпараметры
- 1.8 Настраиваемость алгоритмов
- 1.9 Прочность алгоритмов
- 1.10 Оптимизация гиперпараметров
- 1.11 Воспроизводимость в машинном обучении
- 1.12 Полный текст статьи:
- 2 Гиперпараметр (машинное обучение) — Википедия
Гиперпараметр (машинное обучение)
-
Определение и классификация гиперпараметров
- Гиперпараметры – это параметры, влияющие на процесс обучения в машинном обучении.
- Они отличаются от параметров, определяющих саму модель.
-
Классификация гиперпараметров
- Модельные гиперпараметры не могут быть выведены при обучении и обычно недифференцируемы.
- Алгоритмические гиперпараметры включают скорость обучения и размер пакета.
-
Важность гиперпараметров
- Различные алгоритмы требуют разных гиперпараметров.
- Некоторые простые алгоритмы не требуют гиперпараметров.
-
Методы оптимизации гиперпараметров
- Существуют методы оптимизации, не основанные на градиенте.
- LASSO – пример алгоритма, использующего гиперпараметр регуляризации.
-
Влияние гиперпараметров на обучение и тестирование
- Время обучения и тестирования может зависеть от выбора гиперпараметров.
- Гиперпараметры могут быть непрерывными или целочисленными, что приводит к смешанным типам задач оптимизации.
-
Сложность изучения гиперпараметров
- Некоторые гиперпараметры не могут быть изучены с помощью градиентных методов.
- Примером является гиперпараметр допуска ошибок в методе опорных векторов.
-
Неподготовляемые гиперпараметры
- Некоторые гиперпараметры не могут быть изучены на основе данных из-за риска переобучения.
- Пример – степень соответствия полиномиального уравнения в регрессионной модели.
-
Настраиваемость алгоритмов
- Гиперпараметры могут значительно влиять на производительность алгоритма.
- Для LSTM важны скорость обучения и размер сети, но размер пакета и импульс не оказывают значительного влияния.
-
Прочность алгоритмов
- Алгоритмы обучения с подкреплением требуют устойчивости к изменениям гиперпараметров.
- Методы обучения с подкреплением могут быть чувствительны к выбору гиперпараметров.
-
Оптимизация гиперпараметров
- Методы оптимизации находят набор гиперпараметров, минимизирующий потери на тестовых данных.
- Они не основаны на градиенте и используют концепции оптимизации без производных.
-
Воспроизводимость в машинном обучении
- Важность хранения и систематизации параметров и результатов для воспроизводимости.
- Платформы онлайн-сотрудничества помогают в обмене и обсуждении экспериментов.
- Глубокое обучение особенно чувствительно к случайным начальным условиям.