Applications of tensor algebra to Neural Networks sensitivity analysis

Abstract

Los sistemas de diferenciación automática (AD) ampliamente utilizados en aprendizaje automático proporcionan derivadas de primer orden de forma eficiente, pero carecen de soporte nativo para derivadas de orden superior más allá del anidamiento, lo que conlleva un exceso de consumo de memoria y restringe la aplicabilidad a grafos secuenciales. Esta tesis introduce \textbf{THOAD} (Torch High-Order Automatic Differentiation), un paquete compatible con PyTorch que implementa un enfoque tensorial para la diferenciación automática de alto orden. El método reformula la regla de la cadena multivariable como un proceso de contracción iterativa equivalente a la fórmula multivariable de Faà di Bruno, lo que permite la propagación de derivadas de orden arbitrario a través de grafos computacionales desbalanceados. Optimizaciones basadas en la unificación de batch y en simetrías de Schwarz por bloques reducen aún más la complejidad. Los resultados muestran mejoras sustanciales en escalabilidad frente a la evaluación anidada de PyTorch, proporcionando una plataforma eficiente y extensible para cálculos de alto orden en deep learning.

Automatic differentiation systems, widely used in machine learning, provide efficient first-order derivatives but lack a native mechanism for higher-order derivatives beyond nested applications of first-order rules. This nesting incurs large memory overhead, limited scalability, and incompatibility with non-sequential graphs. In this thesis, we present \textbf{THOAD} (Torch High-Order Automatic Differentiation), a PyTorch-compatible package implementing a tensor-algebraic approach to higher-order AD. The system reformulates the multivariable chain rule as an iterative symbolic contraction procedure, enabling propagation of arbitrary-order derivatives across unbalanced computational graphs. Optimizations based on batch unification and blockwise Schwarz symmetries reduce complexity significantly in batch size and derivative order. Benchmarks demonstrate substantial improvements in scalability over PyTorch’s nested gradient evaluation. THOAD provides researchers and practitioners with an accessible, efficient, and extensible platform for higher-order derivative computations in modern deep learning.