История и цель лассо

• Лассо был введен для повышения точности прогнозирования и интерпретируемости регрессионных моделей.  
• Первоначально разработан в геофизике, популяризирован Робертом Тибширани.  
• Лассо выбирает сокращенный набор известных ковариат для использования в модели.  

Базовая форма и ограничения

• Лассо решает задачу минимизации суммы квадратов ошибок при условии ограничения на абсолютные значения коэффициентов.  
• Ограничение на абсолютные значения коэффициентов приводит к обнулению определенных коэффициентов.  
• Лассо тесно связан с шумоподавлением и гребневой регрессией.  

Связь с другими методами

• Лассо имеет общие черты с регрессией гребня и выбором наилучшего подмножества.  
• Регрессия гребня уменьшает все коэффициенты в один и тот же коэффициент, не устанавливая их равными нулю.  
• Выбор наилучшего подмножества устанавливает некоторые коэффициенты равными нулю.  

Ортонормированные ковариаты

• При ортонормированных ковариатах оценки коэффициентов лассо могут быть выражены через оператор мягкого порогового значения.  
• Оператор мягкого порогового значения преобразует значения в ноль, делая их в точности равными нулю, если они достаточно малы.  

Коррелированные ковариаты

• В случае коррелированных ковариат, значения коэффициентов могут быть одинаковыми для всех наблюдений.  

Минимизация целевой функции лассо

• Целевая функция лассо имеет множество допустимых минимизаторов.  
• Замена коэффициентов на s(βj + βk) и (1-s)(βj + βk) дает новое решение.  

Регуляризация лассо

• Регуляризация лассо может быть распространена на другие целевые функции.  
• Регуляризованная лассо версия оценщика минимизирует целевую функцию с ограничением на норму β.  

Геометрическая интерпретация

• Lasso и регрессия гребня минимизируют разные целевые функции с разными ограничениями.  
• Lasso устанавливает коэффициенты равными нулю, регрессия гребня — нет.  

Упрощение интерпретации λ

• Масштаб лассо можно изменить для предвидения степени усадки.  
• Лагранжиан определяет компромисс между точностью и простотой.  

Путь решения для одного регрессора

• Путь решения для одного регрессора определяется через R2.  
• Если λ = 0, используется обычное решение методом наименьших квадратов.  

Путь решения для нескольких регрессоров

• Вклад регрессора в R2 определяет момент активации параметра.  
• Масштабированная версия адаптивного лассо использует q адаптивное лассо,i = |bOLS,i – β0,i|.  

Сравнение с масштабированной версией lasso

• Масштабированная версия lasso использует q лассо,i = 1/p∑l|bOLS,l – β0,l|.  
• Момент активации параметра задается через λ~лассо,i = 1/pR⊗∑l=1pRl⊗.  

Параметры и активация регрессоров

• Параметры в равной степени отвечают за идеальную посадку.  
• λ-код активирует регрессоры в определенный момент времени.  
• Включение нерелевантных регрессоров задерживает активацию релевантных.  

Адаптивное лассо и lasso

• Адаптивное лассо и lasso являются частными случаями оценки “1ASTc”.  
• “1ASTc” группирует параметры по абсолютной корреляции.  

Байесовская интерпретация

• Лассо можно интерпретировать как линейную регрессию с предварительным распределением по Лапласу.  
• Лапласово распределение резко достигает пика при нулевом значении.  

Интерпретация выпуклой релаксации

• Лассо является выпуклой релаксацией задачи выбора наилучшего подмножества.  
• Лассо минимизирует целевую функцию, используя ℓ0-норму.  

Обобщения лассо

• Эластичная сетка добавляет дополнительный штраф за ℓ2-норму.  
• Групповое лассо позволяет выбирать группы ковариат.  
• Fused lasso учитывает пространственные или временные характеристики.  

Эластичная сетка

• Эластичная сетка удлиняет лассо, добавляя ℓ2-штраф.  
• Результат штрафного удара является комбинацией эффектов лассо и гребня.  

Групповое лассо

• Групповое лассо позволяет совместно выбирать группы ковариат.  
• Целевая функция группового лассо обобщает стандартную целевую функцию лассо.  

Групповое лассо

• Групповое лассо не может выделить отдельные ковариаты из группы.  
• Штраф представляет собой сумму по различным нормам подпространства.  
• Разреженное групповое лассо может выбирать отдельные ковариаты внутри группы.  
• Групповое лассо с перекрытием позволяет распределять ковариаты между группами.  

Плавленое лассо

• Плавленое лассо учитывает пространственную или временную структуру данных.  
• Целевая функция включает ограничения на коэффициенты и их изменения.  
• Кластеризованное лассо группирует ковариаты на основе их эффектов.  

Квазинормы и регресс моста

• Лассо, эластичная сетка и другие методы используют ℓ1 и ℓ2 нормы.  
• Мостовая регрессия использует общие ℓp нормы и квазинормы.  
• Дробные квазинормы дают более значимые результаты.  

Адаптивное лассо

• Адаптивное лассо введено для линейной регрессии и регрессии пропорциональных рисков.  

Предыдущее лассо

• Предыдущее лассо включает предварительную информацию.  
• Параметр η контролирует отклонение β в его предыдущем распределении.  

Вычислительные решения lasso

• Функция потерь лассо не дифференцируема.  
• Используются методы выпуклого анализа и теории оптимизации.  
• Пакеты “glmnet” и “celer” предоставляют эффективные реализации.  

Выбор параметра регуляризации

• Выбор параметра регуляризации важен для производительности лассо.  
• Перекрестная проверка и информационные критерии используются для поиска параметра.  

Выбранные приложения

• Лассо применялось в экономике и финансах для улучшения прогнозирования.  

Альтернатива для подсчета эффективного числа параметров

• Можно использовать меру относительной простоты  
• Для лассо мера определяется как  

P^ = ∑i=1p |βi − β0,i| / ∑l |bOLS,l − β0,l|

Монотонное увеличение меры

• Мера монотонно увеличивается от нуля до p по мере уменьшения параметра регуляризации от ∞ до нуля  

Приложения ЛАССО

• ЛАССО применялось в экономике и финансах  
• Улучшает прогнозирование и позволяет выбирать переменные, которыми иногда пренебрегают  
• Примеры: прогнозирование банкротства корпораций и быстрорастущих фирм  

Связанные темы

• Наименьшие абсолютные отклонения  
• Выбор модели  
• Непараметрическая регрессия  
• Регуляризация Тихонова