Accuracy improvement of Deep Neural Networks through preprocessing and neural structure tuning techniques. An approach to time-series models.

Abstract

La popularización de los modelos de la Red Neural Profunda en los últimos años ha dado lugar a un aumento del número de técnicas para aumentar la precisión de esos modelos. Sin embargo, es difícil elegir cuál de estos métodos son óptimos para un problema específico, así como lograr valores óptimos de sus hiperparámetros correspondientes para lograr un modelo de calidad. Este proyecto tiene por objeto proporcionar una comparación de éstos aplicándolos en un problema de predicción de series temporales. Se han llevado a cabo una serie de test en los que se han combinado arquitecturas tipo RNN, GRU, LSTM y BiLSTM con métodos de optimización entre los que se han destacado el Grid Search, Random Search, Optimización Bayesiana y Algoritmos Genéticos. Los resultados muestran que, se debe optar por una configuración tipo Grid Search + Red tipo GRU, la cual alcanza un valor de MSE de 167,60, frente al 240,44 del modelo benchmark o configuración tipo Random Search + RNN si se busca rapidez de ejecución, sacrificando precisión.

The popularization of Deep Neural Network models in recent years has led to an increase in the number of techniques to increase the accuracy of these models. However, it is difficult to choose which of these methods are optimal for a specific problem, as well as to achieve optimal values of their corresponding hyperparameters to achieve a quality model. This project aims to provide a comparison of these by applying them to a time series prediction problem. A series of tests have been carried out in which RNN, GRU, LSTM and BiLSTM type architectures have been combined with hyperparameter optimization methods among which Grid Search, Random Search, Bayesian Optimization and Genetic Algorithms have been highlighted. The results show that, one should opt for a Grid Search + GRU type configuration, which reaches an MSE value of 167.60, compared to 240.44 in the benchmark model or Random Search + RNN type configuration if one seeks speed of execution, sacrificing precision.