Функция взмаха

От / / Оставьте комментарий

Функция взмаха Определение функции swish Функция swish — это математическая функция с обучаемым параметром β или постоянным β = 1.  […]

Artificial neural networks, Functions and mappings, Искусственные нейронные сети, Функции и отображения

Функция взмаха

  • Определение функции swish

    • Функция swish — это математическая функция с обучаемым параметром β или постоянным β = 1. 
    • При β = 1 функция swish эквивалентна сигмовидной линейной единице или SiLU. 

  • История и открытия

    • SiLU была повторно открыта как функция линейных единиц, взвешенных по сигмовидной форме, в обучении с подкреплением. 
    • Swish был предложен без обучаемого параметра β, но позже обновлен с обучаемым параметром. 

  • Свойства функции swish

    • При β = 0 функция swish становится масштабируемой линейной функцией. 
    • При β → ∞ функция swish приближается к функции ReLU. 
    • Swish можно рассматривать как функцию сглаживания между линейной функцией и функцией ReLU. 

  • Применение функции swish

    • В 2017 году Google обнаружил, что использование swish в искусственных нейронных сетях улучшает производительность по сравнению с ReLU и сигмоидом. 
    • Считается, что swish помогает устранить проблему исчезающего градиента при обратном распространении. 

  • Рекомендации

    • Обычно исследователи принимают β = 1, но можно использовать и обучаемый параметр β. 

Полный текст статьи:

Функция взмаха — Википедия

Похожие статьи:

  1. Выпрямитель (нейронные сети) Выпрямитель (нейронные сети) ReLU (выпрямленная линейная единица) — популярная функция активации в глубоких нейронных сетях.  ReLU...
  2. Логистическая регрессия Логистическая регрессия Логистическая регрессия используется для предсказания вероятности успеха или неудачи в зависимости от набора предикторов. ...
  3. Функция Гудермана Функция Гудермана Функция Гудермана является гиперболической функцией, связанной с проекцией Меркатора.  Она имеет множество применений в...
  4. Дельта-функция Дирака Дельта-функция Дирака Определение и свойства дельта-функции Дирака Дельта-функция Дирака — это математическая функция, которая равна нулю...
  5. Устранимая сингулярность Устраняемая сингулярность Голоморфная функция имеет особенность в точке, которую можно устранить, переопределив функцию.  Пример: функция sinc...
  6. Сублинейная функция Сублинейная функция Определение и свойства сублинейных функций Сублинейная функция — это функция, которая удовлетворяет неравенству треугольника. ...
  7. Сигмовидная функция Функция сигмовидной кишки Сигмовидная функция — это функция, которая приближается к предельным значениям -1 и 1,...
  8. Неполная гамма-функция Неполная гамма-функция Определение и свойства гамма-функции Гамма-функция является интегральной функцией, связанной с факториалом.  Она имеет ряд...
  9. Линейная интерполяция Линейная интерполяция Определение и применение линейной интерполяции Линейная интерполяция — это метод, который позволяет вычислить значение...
  10. Пауза гласных Пауза в гласном Количественный метатезис Метатезис описывает изменение порядка следования согласных в слове.  Градация согласных Градация...
  11. Бета-функция Бета-функция Бета-функция является важной математической функцией, связанной с гамма-функцией и играющей роль в математическом анализе.  Бета-функция...
  12. Функция ошибки Функция ошибки Определение и свойства функции ошибки Функция ошибки (erf) является частью семейства функций ошибок, связанных...
  13. Дигамма-функция Функция Дигаммы Определение и свойства гамма-функции Гамма-функция является интегральной функцией, связанной с факториалами и числами Фибоначчи. ...
  14. Функция Мангольдта Функция Фон Мангольдта Функция фон Мангольдта является важной арифметической функцией, не являющейся мультипликативной или аддитивной.  Функция...
  15. Функция Ляпунова Функция Ляпунова Определение функций Ляпунова Функции Ляпунова используются для доказательства устойчивости равновесия в ОДУ.  Они важны...
  16. Кусочно-линейная функция Кусочно-линейная функция Определение кусочно-линейной функции Кусочно-линейная функция состоит из прямолинейных сегментов и является вещественнозначной.  Функция определена...

Оставьте комментарий

Прокрутить вверх