Metric Tools for Sensitivity Analysis with Applications to Neural Networks

Abstract

A medida que los modelos de aprendizaje automático se consideran para tomar decisiones autónomas con un impacto social significativo, la necesidad de comprender cómo funcionan estos modelos aumenta rápidamente. La Inteligencia Artificial Explicable (XAI, por sus siglas en inglés) tiene como objetivo proporcionar interpretaciones de las predicciones realizadas por los modelos de aprendizaje automático, para hacer que el modelo sea confiable y más transparente para el usuario. Por ejemplo, la selección de variables de entrada relevantes para el problema afecta directamente la capacidad del modelo para aprender y hacer predicciones precisas, por lo que obtener información sobre la importancia de las entradas juega un papel crucial durante el entrenamiento del modelo. Una de las principales técnicas de XAI para obtener la importancia de las variables de entrada es el análisis de sensibilidad basado en derivadas parciales. Sin embargo, la literatura existente sobre este método no proporciona justificación de las métricas de agregación utilizadas para obtener información de las derivadas parciales.

En este artículo, se propone un marco teórico para estudiar las sensibilidades de los modelos de aprendizaje automático utilizando técnicas métricas. A partir de esta interpretación métrica, se extrae una familia completa de nuevas métricas cuantitativas llamadas "α-curvas". Estas α-curvas proporcionan información más detallada sobre la importancia de las variables de entrada para un modelo de aprendizaje automático que los métodos de XAI existentes en la literatura. Demostramos la efectividad de las α-curvas utilizando conjuntos de datos sintéticos y reales, comparando los resultados con otros métodos de XAI para la importancia de las variables y validando los resultados del análisis con la verdad absoluta o la información de la literatura.

As Machine Learning models are considered for autonomous decisions with significant social impact, the need for understanding how these models work rises rapidly. Explainable Artificial Intelligence (XAI) aims to provide interpretations for predictions made by Machine Learning models, in order to make the model trustworthy and more transparent for the user. For example, selecting relevant input variables for the problem directly impacts the model's ability to learn and make accurate predictions, so obtaining information about input importance play a crucial role when training the model. One of the main XAI techniques to obtain input variable importance is the sensitivity analysis based on partial derivatives. However, existing literature of this method provide no justification of the aggregation metrics used to retrieved information from the partial derivatives. In this paper, a theoretical framework is proposed to study sensitivities of ML models using metric techniques. From this metric interpretation, a complete family of new quantitative metrics called α-curves is extracted. These α-curves provide information with greater depth on the importance of the input variables for a machine learning model than existing XAI methods in the literature. We demonstrate the effectiveness of the α-curves using synthetic and real datasets, comparing the results against other XAI methods for variable importance and validating the analysis results with the ground truth or literature information.