Автоматическая дифференциация

• Градиент функции вычисляется с использованием правила цепочки и развертки вычислительного графа. 
• Прямое накопление вычисляет функцию и производную за один проход, используя начальные значения. 
• Обратное накопление вычисляет производную относительно каждого подвыражения рекурсивно. 
• Задача оптимального накопления якобиана является NP-полной и связана с алгебраическими зависимостями между локальными частицами. 
• Автоматическое дифференцирование в прямом режиме осуществляется путем расширения алгебры действительных чисел и получения новой арифметики. 
• Пересказана только часть статьи. Для продолжения перейдите к чтению оригинала.