Оглавление
Сложность выборки
-
Определение PAC-обучения
- PAC-обучение – это метод машинного обучения, который гарантирует, что алгоритм сходится к целевой функции с заданной точностью.
- Алгоритм PAC-обучения должен быть способен изучить любое распределение с заданной точностью.
-
Теорема о бесплатном обеде
- Теорема утверждает, что для любого распределения существует алгоритм PAC-обучения, но существуют распределения, для которых сложность выборки высока.
-
Ограниченное пространство гипотез
- Ограничение пространства гипотез может уменьшить сложность выборки, но также может привести к предвзятости.
- Регуляризация – это компромисс между сложностью пространства гипотез и предвзятостью.
-
Примеры PAC-обучаемых пространств
- Линейная классификация с аффинными функциями является примером PAC-обучаемого пространства.
- Пространство двоичных функций с конечным измерением VC является PAC-обучаемым.
-
Сложность выборки
- Сложность выборки является линейной функцией от размерности VC пространства гипотез.
- Сложность выборки также зависит от псевдоизмерения Полларда для вещественнозначных функций.
-
Применение в других областях
- Сложность выборки имеет отношение к полууправляемому обучению, активному обучению и обучению с подкреплением.
- В робототехнике высокая сложность выборки может быть эквивалентна безмодельному перебору.
-
Эффективность в робототехнике
- Высокоэффективные алгоритмы имеют низкую сложность выборки, что может быть достигнуто с помощью метрического обучения и обучения с подкреплением на основе моделей.