Benchmark automatizado de modelos de series temporales

Abstract

El análisis predictivo de series temporales es un campo fundamental en estadística y ciencia de datos ampliamente utilizada en diversas áreas. Este proyecto presenta AutoTS, una herramienta de AutoML (Automated Machine Learning) especializada en series temporales, diseñada para automatizar y simplificar el proceso de generación y entrenamiento de modelos predictivos. AutoTS automatiza la ingesta de datos, el análisis exploratorio (EDA), la visualización de series temporales y resultados, así como la implementación de modelos baseline y de Machine Learning (ML). En su desarrollo, AutoTS incorpora conceptos fundamentales del análisis de series temporales desde la fase inicial de la herramienta, incluyendo la descomposición de la serie en componentes principales, la implementación de pruebas que indican si la serie es estacionaria en media y en varianza, como la prueba de Dickey-Fuller y la aplicación de técnicas de transformación como Box-Cox. Se implementan modelos baseline como Naive, Seasonal Naive, Historic Average, Window Average, Seasonal Window Average y Random Walk with Drift, para poner un punto de referencia inicial en el análisis predictivo. Tras esto, se integran modelos más complejos y avanzados de ML, como Random Forest, XGBoost, LightGBM y CatBoost, para mejorar la precisión y el rendimiento de las predicciones. La principal funcionalidad de AutoTS es evaluar modelos en paralelo y seleccionar el de mejor rendimiento, acompañado de gráficos de benchmarking para comparar sus resultados. En la Firgura 1 se muestra el diagrama de flujo desarrollado en el presente proyecto. Los resultados obtenidos con AutoTS se comparan con los modelos ganadores de la competición M5. Aunque el error (Weighted Root Mean Squared Scale Error- WRMS SE) obtenido por AutoTS fue superior, la herramienta cumple con el objetivo principal de automatizar la evaluación inicial de modelos. En conclusión, AutoTS supone un avance significativo en la automatización del análisis predictivo de series temporales. Proporciona una evaluación inicial con un umbral mínimo de error, ayudando a identificar series difíciles de predecir y facilitando el desarrollo de modelos más precisos. Al respaldar la toma de decisiones en preventas, permite a los científicos de datos comprender mejor los datos, definir ofertas al cliente, identificar riesgos y clarificar el proyecto. En definitiva, AutoTS mejora la planificación de proyectos, la preparación de estrategias, y la comprensión de las características y métricas de las series temporales.

Predictive analysis of time series is a fundamental field in statistics and data science, widely used in various areas. This project presents AutoTS, an AutoML (Automated Machine Learning) tool specialized in time series, designed to automate and simplify the process of generating and training predictive models. AutoTS automates data ingestion, exploratory data analysis (EDA), time series visualization and results, as well as the implementation of baseline and Machine Learning (ML) models. In its development, AutoTS incorporates fundamental concepts of time series analysis from the initial phase of the tool, including the decomposition of the series into main components, the implementation of tests indicating whether the series is stationary in mean and variance, such as the Dickey-Fuller test, and the application of transformation techniques such as Box-Cox. Baseline models such as Naive, Seasonal Naive, Historic Average, Window Average, Seasonal Window Average, and Random Walk with Drift are implemented to provide an initial reference point in predictive analysis. Following this, more complex and advanced ML models, such as Random Forest, XGBoost, LightGBM, and CatBoost, are integrated to improve the accuracy and performance of the predictions. The main functionality of AutoTS is to evaluate models in parallel and select the best-performing one, accompanied by benchmarking graphs to compare their results. Figure 2 shows the flowchart developed in this project. The results obtained with AutoTS are compared with the winning models of the M5 competition. Although the error (Weighted Root Mean Squared Scale Error- WRMSSE) obtained by AutoTS was higher, the tool achieves the main objective of automating the initial evaluation of models. In conclusion, AutoTS represents a significant advancement in the automation of predictive analysis of time series. It provides an initial evaluation with a minimal error threshold, helping to identify difficult-to-predict series and facilitating the development of more accurate models. By supporting decision-making in pre-sales, it allows data scientists to better understand the data, define customer offers, identify risks, and clarify the project. Ultimately, AutoTS improves project planning, strategy preparation, and the understanding of the characteristics and metrics of time series.