Redes Neuronales interpretables con NeuralSens: Sensibilidad a semilla

Abstract

Este trabajo estudia la dependencia a la semilla en modelos de redes neuronales (NN) aplicados al análisis post-hoc mediante la herramienta NeuralSens, que permite dotar de explicabilidad a estos modelos a través del cálculo de derivadas parciales. Las redes neuronales, especialmente en campos como las ciencias sociales y la educación, suelen operar en contextos con altos niveles de ruido, lo que puede comprometer la estabilidad y fiabilidad de los análisis interpretativos. Si bien este problema ha sido señalado en modelos agnósticos como SHAP o LIME, no se había abordado específicamente en el contexto de NeuralSens, una herramienta centrada exclusivamente en redes neuronales. Para ello, se plantea una experimentación basada en tres escenarios con complejidad creciente: una relación lineal definida, la introducción de una variable irrelevante y la inclusión de una variable cuadrática adicional. En cada caso, se comparan los coeficientes estimados por una red neuronal con los obtenidos mediante un modelo clásico de regresión lineal, incrementando progresivamente el nivel de ruido en los datos. Esta variabilidad se evalúa a través del Signal-to-Noise Ratio (SNR), que permite cuantificar el impacto de la señal frente al ruido en los modelos entrenados. El objetivo principal del estudio es analizar cómo afecta la aleatoriedad de la semilla a la estabilidad del análisis de sensibilidades post-hoc, así como proponer estrategias para mitigar los efectos de dicha aleatoriedad en entornos con ruido. En este contexto, se identifican y caracterizan dos tipos de riesgo asociados al uso de una única semilla: uno de carácter catastrófico y otro vinculado a la fluctuación sistemática. Finalmente, se plantea una propuesta metodológica basada en el uso de múltiples redes entrenadas con distintas semillas, con el fin de mejorar la estabilidad y fiabilidad de los resultados obtenidos mediante NeuralSens, especialmente en aplicaciones educativas o sociales donde los datos presentan alto ruido.

This paper studies the seed dependence in neural network (NN) models applied to post-hoc analysis using the NeuralSens tool, which allows them to provide explainability to these models through the computation of partial derivatives. Neural networks, especially in fields such as social sciences and education, often operate in contexts with high levels of noise, which can compromise the stability and reliability of interpretive analyses. While this problem has been pointed out in agnostic models such as SHAP or LIME, it had not been specifically addressed in the context of NeuralSens, a tool focused exclusively on neural networks. To this end, an experimentation based on three scenarios with increasing complexity is proposed: a defined linear relationship, the introduction of an irrelevant variable and the inclusion of an additional quadratic variable. In each case, the coefficients estimated by a neural network are compared with those obtained by a classical linear regression model, progressively increasing the level of noise in the data. This variability is evaluated through the Signal-to-Noise Ratio (SNR), which allows us to quantify the impact of the signal versus the noise in the trained models. The main objective of the study is to analyze how seed randomness affects the stability of the post-hoc sensitivity analysis, as well as to propose strategies to mitigate the effects of such randomness in noisy environments. In this context, two types of risk associated with the use of a single seed are identified and characterized: one of a catastrophic nature and the other linked to systematic fluctuation. Finally, a methodological proposal based on the use of multiple networks trained with different seeds is proposed, in order to improve the stability and reliability of the results obtained by NeuralSens, especially in educational or social applications where the data present high noise.