Регуляризация с помощью спектральной фильтрации
-
Основы регуляризации
- Регуляризация используется для улучшения качества решений в задачах машинного обучения.
- Регуляризация Тихонова и спектральная регуляризация являются двумя основными методами.
-
Регуляризация Тихонова
- Регуляризация Тихонова основана на минимизации эмпирического риска с помощью регуляризованного решения.
- Регуляризованное решение определяется как решение, полученное путем решения уравнения с регуляризованным ядром.
-
Спектральная регуляризация
- Спектральная регуляризация использует собственные значения матрицы ядра для определения регуляризованного решения.
- Фильтрующая функция используется для удаления малых собственных значений из регуляризованного решения.
-
Фильтрующая функция
- Фильтрующая функция определяет, какие собственные значения следует отбросить в регуляризованном решении.
- В регуляризации Тихонова фильтрующая функция равна 1/σ + nλ, где σ — собственные значения, а nλ — регуляризационный параметр.
-
Итерация Ландвебера
- Итерация Ландвебера основана на градиентном спуске и сходится при выборе η = 2/n.
- Фильтрующая функция для итерации Ландвебера равна η∑i=0t-1(I — ησ)i.
-
Регуляризация по методу главных компонент
- Регуляризация по методу главных компонент (TSVD) эквивалентна неконтролируемому прогнозированию данных с использованием PCA.
- Фильтрующая функция для TSVD равна 1/σ, если σ ≥ λn, и 0 в противном случае.