Автоматическая дифференциация
- Градиент функции вычисляется с использованием правила цепочки и развертки вычислительного графа.
- Прямое накопление вычисляет функцию и производную за один проход, используя начальные значения.
- Обратное накопление вычисляет производную относительно каждого подвыражения рекурсивно.
- Задача оптимального накопления якобиана является NP-полной и связана с алгебраическими зависимостями между локальными частицами.
- Автоматическое дифференцирование в прямом режиме осуществляется путем расширения алгебры действительных чисел и получения новой арифметики.
- Пересказана только часть статьи. Для продолжения перейдите к чтению оригинала.
Полный текст статьи: