Explainable Artificial Intelligence (XAI) Techniques based on Partial Derivatives with Applications to Neural Networks

Abstract

A medida que los modelos de Aprendizaje Automático (ML, por su nombre en inglés Machine Learning) y Aprendizaje Profundo (DL, por su nombre en inglés Deep Learning) continúan permeando diversos aspectos de la sociedad, existe una creciente demanda de interpretabilidad y transparencia en sus procesos de toma de decisiones. Esta demanda está alimentada por la necesidad de comprender, confiar y utilizar eficazmente estos complejos modelos de caja negra, particularmente en aplicaciones de alto riesgo donde las decisiones pueden tener consecuencias de gran alcance. Además, el avance de las técnicas de interpretabilidad es fundamental para adherirse a los emergentes requisitos éticos y legales concernientes al uso de los sistemas de Inteligencia Artificial (IA).

La Inteligencia Artificial Explicable (XAI, por su nombre en inglés Explainable Artificial Intelligence) ha surgido como una solución a la opacidad de los modelos complejos, ofreciendo técnicas para hacer comprensibles y transparentes estos modelos. Sin embargo, la mayoría de las técnicas existentes de XAI enfrentan limitaciones con respecto a las suposiciones que deben hacer sobre las relaciones entre los datos, el costo computacional, la compensación entre la interpretabilidad y la precisión, o su capacidad para proporcionar explicaciones locales y globales. Para abordar estos problemas, esta tesis introduce nuevos métodos de XAI basados en derivadas parciales. A diferencia de los métodos existentes, estas técnicas proporcionan explicaciones detalladas, desde un nivel local hasta global, sin hacer suposiciones sobre las relaciones entre las entradas y las salidas.

Las principales contribuciones de esta tesis residen en tres métodos recién desarrollados: Análisis de Sensibilidad, curvas-α y la aplicación del Invariante de Interacción diseñado en Alfaya et al. (2023) a modelos de ML, todos los cuales aprovechan las derivadas parciales para ofrecer interpretabilidad de los modelos de ML diferenciables. El Análisis de Sensibilidad estima la influencia de las variables de entrada en la salida del MLP, ofreciendo información sobre las variables más importantes. Las curvas-α proporcionan una visión detallada de la variación de la sensibilidad a través del espacio de entrada, ayudando a identificar regiones localizadas de alta sensibilidad. Por último, el Invariante de Interacción se centra en la detección de interacciones entre las variables de entrada, revelando relaciones complejas en los datos que pueden influir en la predicción del modelo. En conjunto, estos métodos ofrecen una comprensión integral de los modelos de Aprendizaje Automático, mejorando la transparencia de los sistemas de IA.

La utilidad y efectividad de estos métodos se validaron a través de tres casos de uso del mundo real, que incluyen la predicción de emisiones de NOx, la progresión de la enfermedad de Parkinson y la vida útil restante de motores turbofan. Estas aplicaciones evidenciaron cómo los métodos desarrollados pueden mostrar información detallada sobre el comportamiento del modelo, superando las técnicas más utilizadas de explicabilidad de IA al proporcionar información coherente y relevante sobre el funcionamiento interno de los modelos.

As Machine Learning (ML) and Deep Learning (DL) models continue to permeate various aspects of society, there is an increasing demand for interpretability and transparency in their decision-making processes. This demand is fueled by the need to understand, trust, and effectively use these complex, black-box models, particularly in high-stake applications where decisions can have far-reaching consequences. Furthermore, the advancement of interpretability techniques is critical to adhere to the emerging ethical and legal requirements concerning the use of Artificial Intelligence (AI) systems.

Explainable Artificial Intelligence (XAI) has emerged as a promising solution to the opacity of complex models, offering techniques to make their decision-making processes understandable and transparent. Nevertheless, most existing XAI techniques face limitations concerning assumptions on data relationships, computational cost, the trade-off between interpretability and accuracy, and their ability to provide local and global explanations. To address these issues, this thesis introduces novel XAI methods based onpartial derivatives. Unlike existing methods, these techniques provide detailed, local to global level explanations without making assumptions about the relationships between inputs and outputs.

The main contributions of this thesis reside in three newly developed methods: Sensitivity Analysis, α-curves, and the application of the Interaction Invariant designed in Alfaya et al. (2023) to ML models, all of which leverage the partial derivatives to offer interpretability of differentiable ML models. Sensitivity Analysis estimates the influence of input variables on the ML model output, offering insights into the most impactful variables. α-curves provide a detailed view of sensitivity variation across the input space, assisting in identifying average and localized high-sensitivity regions. Lastly, Interaction Invariant focuses on detecting interactions between input variables, revealing complex relationships within the data that may influence the model's decision-making process. Collectively, these methods offer a comprehensive understanding of ML models, enhancing the transparency and trustworthiness of AI systems.

The utility and effectiveness of these methods were validated through three real-world use cases including predicting NOx emissions, parkinson disease progression, and turbofan engine Remaining Useful Life (RUL). These applications illustrated how the developed methods can reveal nuanced insights into model behavior, surpassing commonly used XAI techniques by providing coherent and relevant information about the inner workings of the models.