Закрытый рекуррентный модуль
- Контролируемое обучение, обучение без присмотра, онлайн-обучение и другие методы машинного обучения.
- GRU — стробирующий механизм в рекуррентных нейронных сетях, похожий на долговременную кратковременную память.
- GRU может быть использован в задачах моделирования полифонической музыки, речевых сигналов и обработки естественного языка.
- Существует несколько вариаций полной стробируемой единицы и упрощенная форма, называемая минимальной стробируемой единицей.
- GRU имеет функции активации, такие как логистическая функция и гиперболическая касательная.
- Альтернативные формы GRU могут быть созданы путем изменения переменных и типов управления.
- Рекуррентный блок с легким затвором (LiGRU) полностью удаляет элемент reset, заменяет tanh активацией ReLU и применяет пакетную нормализацию.
Полный текст статьи: