Predicción de series de tiempo usando redes neuronales y mecanismos de atención en aplicaciones empresariales

Abstract

El Deep Learning ha experimentado un enorme crecimiento en el campo de la investigación de predicción de ventas en los últimos años, ya que modelos más complejos impulsados por redes neuronales parecen capaces de superar a los modelos tradicionales en la previsión. A través de este proyecto, se examina un conjunto de datos sobre ventas en tiendas para realizar un análisis de previsión de ventas utilizando modelos LSTM de última generación. El objetivo de la investigación es dilucidar si los mecanismos de atención mejoran la previsión de ventas. Se implementará el modelo LSTM con Mecanismos de Atención y se comparará con los modelos LSTM tradicionales (Vanilla LSTM, Stacked LSTM, Bidirectional LSTM y Convolutional LSTM).

A través de nuestros experimentos, el modelo más preciso al comparar a través de RMSE fue el Convolutional LSTM, seguido por el LSTM con Mecanismos de Atención, el Bidirectional LSTM y el Vanilla LSTM en último lugar. Esto nos mostró que la técnica recientemente propuesta de incluir mecanismos de atención a un modelo LSTM tradicional es muy comparable a los modelos anteriores de última generación e incluso supera a la mayoría de las otras técnicas en nuestro experimento con la segunda volatilidad de error más baja también.

Deep Learning has seen a huge growth in the field of sales prediction research over the last years, as more complex models driven by neural networks seem able to outperform traditional models in forecasting. Through this project, a dataset regarding store sales is examined in order to perform a sales forecasting analysis regarding state-of-the-art LSTM models. The aim of the investigation is to elucidate whether attention mechanisms improve sales forecasting. The LSTM model with Attention Mechanisms will be implemented and compared to traditional LSTM models (Vanilla LSTM, Stacked LSTM, Bidirectional LSTM and Convolutional LSTM).

Through our experiments, the most accurate model when comparing through RMSE was the Convolutional LSTM, followed by the LSTM with Attention Mechanisms, the Bidirectional LSTM and the Vanilla LSTM coming at last. This showed us that the newly proposed technique of including attention mechanisms to a vanilla LSTM model is very comparable to state-of-the-art previous models and even outperforms most other techniques through our experiment with the second lowest error volatility.