Towards a mathematical framework to inform neural network modelling via polynomial regression

Abstract

Incluso cuando las redes neuronales se utilizan ampliamente en un gran número de aplicaciones, todavía se consideran cajas negras y presentan algunas dificultades para dimensionar o evaluar su error de predicción. Esto ha llevado a un creciente interés en el área de superposición entre las redes neuronales y los métodos estadísticos más tradicionales, que pueden ayudar a superar esos problemas. En este artículo, se explora un marco matemático que relaciona las redes neuronales y la regresión polinomial mediante la construcción de una expresión explícita para los coeficientes de una regresión polinomial a partir de los pesos de una red neuronal dada, utilizando un enfoque de expansión de Taylor. Esto se logra para redes neuronales de capa única oculta en problemas de regresión. La validez del método propuesto depende de diferentes factores como la distribución de los potenciales sinápticos o la función de activación elegida. El rendimiento de este método se prueba empíricamente mediante la simulación de datos sintéticos generados a partir de polinomios para entrenar redes neuronales con diferentes estructuras e hiperparámetros, lo que demuestra que se pueden obtener predicciones casi idénticas cuando se cumplen ciertas condiciones. Por último, al aprender de los datos generados por polinomios, el método propuesto produce polinomios que se aproximan correctamente a los datos localmente.

Even when neural networks are widely used in a large number of applications, they are still considered as black boxes and present some difficulties for dimensioning or evaluating their prediction error. This has led to an increasing interest in the overlapping area between neural networks and more traditional statistical methods, which can help overcome those problems. In this article, a mathematical framework relating neural networks and polynomial regression is explored by building an explicit expression for the coefficients of a polynomial regression from the weights of a given neural network, using a Taylor expansion approach. This is achieved for single hidden layer neural networks in regression problems. The validity of the proposed method depends on different factors like the distribution of the synaptic potentials or the chosen activation function. The performance of this method is empirically tested via simulation of synthetic data generated from polynomials to train neural networks with different structures and hyperparameters, showing that almost identical predictions can be obtained when certain conditions are met. Lastly, when learning from polynomial generated data, the proposed method produces polynomials that approximate correctly the data locally.