Оглавление
- 1 Упорядоченные наименьшие квадраты
- 1.1 Линейная регрессия
- 1.2 Дискретный выбор
- 1.3 Многоуровневая модель
- 1.4 Нелинейная регрессия
- 1.5 Регрессионная проверка
- 1.6 Регуляризованные методы наименьших квадратов (RLS)
- 1.7 Общая формулировка
- 1.8 Рецептура ядра
- 1.9 Произвольное ядро
- 1.10 Сложность
- 1.11 Предсказание
- 1.12 Линейное ядро
- 1.13 Решение линейной регрессии с регуляризацией
- 1.14 Сложность и методы решения
- 1.15 Карты объектов и теорема Мерсера
- 1.16 Байесовская интерпретация
- 1.17 Конкретные примеры регуляризации
- 1.18 Регуляризация ЛАССО и Тихонова
- 1.19 Ограничения LASSO
- 1.20 ℓ0 Штрафных санкций
- 1.21 Эластичная сетка
- 1.22 Неполный список методов RLS
- 1.23 Полный текст статьи:
- 2 Регуляризованный метод наименьших квадратов
Упорядоченные наименьшие квадраты
-
Линейная регрессия
- Простая регрессия
- Полиномиальная регрессия
- Общая линейная модель
- Обобщенная линейная модель
- Векторная обобщенная линейная модель
-
Дискретный выбор
- Биномиальная регрессия
- Бинарная регрессия
- Логистическая регрессия
- Многомерная логистическая регрессия
- Смешанный логит
- Пробит
- Многочленный пробит
- Упорядоченный логит
- Заказанный пробит
- Пуассоновский
-
Многоуровневая модель
- Исправленные эффекты
- Случайные эффекты
- Линейная модель со смешанными эффектами
- Нелинейная модель со смешанными эффектами
-
Нелинейная регрессия
- Непараметрический
- Полупараметрический
- Крепкий
- Квантиль
- Изотонический
- Основные компоненты
- Наименьший угол наклона
- Местный
- Сегментированный
- Ошибки в переменных
- Наименьшие квадраты
- Линейный
- Нелинейный
- Обычный
- Взвешенный
- Обобщенный
- Обобщенное оценочное уравнение
- Частичный
- Весь
- Неотрицательный
- Регрессия хребта
- Упорядоченный
- Наименьшие абсолютные отклонения
- Итеративно пересчитанный вес
- Байесовский
- Байесовский многомерный анализ
- Спектральный анализ методом наименьших квадратов
-
Регрессионная проверка
- Средняя и прогнозируемая реакция
- Ошибки и остаточные явления
- Хорошая посадка
- Изученный остаток
- Теорема Гаусса–Маркова
-
Регуляризованные методы наименьших квадратов (RLS)
- Используются для решения задач с большим количеством переменных
- Вводят дополнительные ограничения для улучшения обобщаемости модели
- Байесовское понимание эквивалентно априорным данным
-
Общая формулировка
- Рассматривается вероятностное пространство (X × Y, ρ(X, Y))
- Функция потерь V: Y × R → [0; ∞)
- Основная цель – минимизировать ожидаемый риск
-
Рецептура ядра
- RKHS определяется симметричной положительно определенной функцией ядра K(x, z)
- RKHS состоит из завершения пространства функций, охватываемого {Kx | x ∈ X}
- Примеры ядер: линейное, полиномиальное, гауссово
-
Произвольное ядро
- Решение может быть записано как f(x) = ∑i=1n c_i K(xi, x)
- Задача минимизации: min c∈Rn 1/n‖Y-Kc‖_BOS_Rn2 + λ‖f‖_H2
- Решение: c = (K + λnI)−1Y
-
Сложность
- Сложность обучения: O(n3)
- Сложность тестирования: O(n)
-
Предсказание
- Прогноз в новой контрольной точке: f(x*) = K(X, X*)T c
-
Линейное ядро
- Матрица ядра: K = XX^T
- Функция обучения: f(x*) = Kx*c = x*T X^T c = x*T w
- Целевая функция: 1/n‖y-Xw‖_Rn2 + λ‖w‖_Rd2
- Решение: w = (X^TX + λnI)−1XT
-
Решение линейной регрессии с регуляризацией
- Решение линейной регрессии с регуляризацией похоже на решение стандартной линейной регрессии.
- Регуляризация добавляет член λI, что приводит к предвзятому решению, но уменьшает дисперсию.
- Манипулирование λ соответствует компромиссу между смещением и дисперсией.
-
Сложность и методы решения
- Параметр λ управляет обратимостью матрицы XTX + λI.
- Для решения используется декомпозиция Холецкого, что требует O(nD2) для обучения и O(D) для тестирования.
-
Карты объектов и теорема Мерсера
- Карты объектов позволяют упростить вычислительные операции.
- Теорема Мерсера связывает любое ядро с картой объектов.
- RLS обычно состоит из линейных RLS в многомерном пространстве объектов.
-
Байесовская интерпретация
- Метод наименьших квадратов можно рассматривать как максимизацию вероятности.
- Регуляризация Тихонова соответствует нормальному распределению на w с центром в 0.
-
Конкретные примеры регуляризации
- Регрессия гребня использует ℓ2-норму и имеет решение в замкнутой форме.
- Регрессия лассо использует ℓ1-норму и требует квадратичного программирования или выпуклой оптимизации.
-
Регуляризация ЛАССО и Тихонова
- ЛАССО более уместна при малом числе ненулевых записей, Тихонов — при малом, но не обязательно нулевом.
- Выбор зависит от конкретных данных.
-
Ограничения LASSO
- Регрессия гребня лучше при n > d для сильно коррелированных переменных.
- LASSO выбирает не более n переменных при n < d.
- LASSO может выбирать произвольные переменные из группы сильно коррелированных выборок.
-
ℓ0 Штрафных санкций
- ℓ0 норма расхода w обеспечивает разреженность, но сложна для решения.
- Регрессия лассо — минимально возможное ослабление ℓ0 штрафа, приводящее к слабо выпуклой задаче оптимизации.
-
Эластичная сетка
- Цель: минимизировать сумму квадратов ошибок и сумму абсолютных значений коэффициентов.
- Решение: минимизировать сумму квадратов ошибок при условии, что сумма абсолютных значений коэффициентов не превышает t.
- Эластичная чистая штрафная функция: (1 − α)‖w‖1 + α‖w‖2 ≤ t.
- При α = 1 эластичная сетка становится регрессией гребня, при α = 0 — Лассо.
- Эластичная сетка может выбирать группы коррелированных переменных.
-
Неполный список методов RLS
- Приведен список возможных функций регуляризации и их названия.
- Включены априорные данные и способы вычисления решения.