Wind Power Generation Forecasting Using Transformer-based Time Series Models - Oriol Guerra, Teresa

Abstract

La integración de fuentes de energía renovable, especialmente la eólica, en los sistemas energéticos ha intensificado la necesidad de técnicas de predicción precisas y fiables. Una predicción efectiva a corto plazo es clave para garantizar la estabilidad de la red, optimizar estrategias y reducir costes operativos. En la última década, se ha pasado de métodos estadísticos y de aprendizaje automático a enfoques de deep learning, capaces de modelar dependencias no lineales y temporales. Entre ellos, las arquitecturas Transformer destacan por captar correlaciones temporales de largo alcance, antes inalcanzables con modelos recurrentes.

Este estudio propone un modelo Transformer para la predicción de energía eólica a corto plazo usando solo datos históricos de generación. La serie temporal se divide en secuencias superpuestas de longitudes fijas (12 h, 24 h y 36 h) mediante una ventana deslizante. Se evaluaron diferentes configuraciones del modelo según la longitud de entrada y parámetros como dimensión del modelo, número de cabezas de atención, capas del codificador, dropout y batch size. El rendimiento se midió en entrenamiento y prueba mediante MSE, MAE y MAPE. La metodología incluyó optimización de hiperparámetros y normalización para mejorar la estabilidad y generalización.

Los resultados muestran que la mejor configuración fue una ventana de entrada de 24 h, con un MAPE de prueba del 0,09 %. Esta superó a las secuencias más largas, lo que sugiere que contextos más cortos bastan para una predicción precisa a corto plazo en este caso. Comparado con LSTM y GRU optimizados, el mejor Transformer mostró mayor precisión, aunque con mayor coste computacional. Estos resultados confirman la eficacia del Transformer para esta tarea y abren oportunidades en modelado espacial, aprendizaje por transferencia y predicción multietapa.

The growing penetration of renewable energy sources, particularly wind power, into modern energy systems has heightened the need for accurate and reliable forecasting techniques. Effective short-term wind power prediction is essential for ensuring grid stability, optimizing dispatch strategies, and reducing operational costs. Over the past decade, researchers have progressively moved from traditional statistical and machine learning methods to deep learning approaches capable of modeling nonlinear and temporal dependencies. Among these, Transformer-based architectures have gained increasing attention for their ability to handle long-range temporal correlations, previously unattainable with conventional recurrent models.

In this study, a Transformer-based model is proposed for short-term wind power forecasting using only historical generation data. The time series is segmented into overlapping sequences of fixed lengths (12, 24, and 36 hours) using a sliding window approach. Different Transformer configurations were evaluated across different input lengths, varying hyperparameters such as model dimension, number of attention heads, encoder layers, dropout rate, and batch size. Model performance was assessed on both training and test sets using MSE, MAE, and MAPE as error metrics. The methodology also included a hyperparameter optimization process and normalization procedures to enhance training stability and generalization.

The results indicate that the best performance was obtained using a 24-hour input window, achieving a test MAPE of 0.09%. This configuration outperformed models trained with longer input sequences, suggesting that shorter historical contexts are sufficient for accurate short-term forecasting in this dataset. Furthermore, when compared against traditional approaches such as LSTM and GRU architectures under optimized settings, the best Transformer model showed superior predictive accuracy. However, this improvement came at the cost of higher computational complexity. These findings support the effectiveness of Transformer models for wind power forecasting and highlight opportunities for future research involving spatial modeling, transfer learning, and multistep prediction.