Дифференцируемый нейронный компьютер
- DNC — архитектура нейронной сети с расширенной памятью, вдохновленная архитектурой Фон Неймана.
- DNC превосходит традиционные архитектуры в алгоритмических задачах, которые невозможно изучить, найдя границу принятия решения.
- DNC могут быть обучены для решения сложных структурированных задач и работы с приложениями с большими данными.
- DNC обладают памятью, которая может быть выделена динамически и доступна неограниченное время.
- DNC являются сквозными дифференцируемыми, что позволяет эффективно оптимизировать их с помощью градиентного спуска.
- Модель DNC похожа на архитектуру фон Неймана и является полной по Тьюрингу.
- Усовершенствования DNC включают разреженную адресацию памяти, адаптивное время вычисления и обучение с использованием синтетических градиентов.
Полный текст статьи: