Forecasting electricity prices with Neural ODE

Abstract

Este trabajo de fin de máster desarrolla y evalúa la novedosa técnica de la neural ODE (Ecuaciones Diferenciales Ordinarias o EDO) para la previsión a corto plazo del precio de la electricidad en el mercado diario español de la energía. Este estudio proporciona una introducción al mercado eléctrico español y la importancia de contar con predicciones precisas de los precios por parte de productores, consumidores, comercializadores y reguladores.

La neural ODE se implementa en PyTorch y se entrena para las predicciones del conjunto de test, que abarca desde agosto hasta octubre de 2019, teniendo en cuenta el aumento de la infraestructura de energía renovable y la volatilidad resultante de los precios. Su rendimiento se compara con modelos de referencia, incluido el método estadístico SARIMA, el probabilístico Prophet y arquitecturas avanzadas de Machine Learning, como el Perceptrón Multicapa, las redes de Long Short-Term Memory (LSTM) y el modelo híbrido de red neuronal convolucional - LSTM.

Se desarrollan enfoques tanto univariantes (utilizando solo los datos históricos de precios) como multivariantes (incluyendo variables exógenas P48 de demanda de energía y generación eólica, además del día de la semana). La neural ODE se entrena resolviendo un problema de valor inicial (PVI) definido por una red neuronal aprendible que representa la derivada de la serie temporal de precios. La optimización se realiza mediante el solver de Dormand-Prince de orden 5, de paso adaptativo y retropropagación a través del denominado adjoint sensitivity method.

Los resultados muestran un desempeño competitivo por parte de la neural ODE puesto que, aun teniendo en cuenta que estaba limitada a computaciones de CPU, se trata del modelo con mejor rendimiento en el enfoque univariante. Sin embargo, el modelo Prophet es el más eficaz en el caso multivariante, lo que sugiere que las fuertes estacionalidades de los datos de precios se han podido captar mejor con técnicas probabilísticas.

This master's thesis develops and evaluates the novel technique of Neural Ordinary Differential Equations (ODEs) for short-term electricity price forecasting in the Spanish day-ahead energy market. This study provides background on the Spanish electricity market and the importance of accurate price forecasts for produces, consumers, traders, and regulators.

The neural ODE is implemented in PyTorch framework and is trained for the test set forecasts, spanning from August to October 2019, noting the increase in renewable energy infrastructure and resultant price volatility. The performance and predictive capabilities are compared against a range of sophisticated benchmark models, including the SARIMA statistical method, the probabilistic Prophet and advanced Machine Learning architectures such as Multilayer Perceptron, Long Short-Term Memory networks (LSTM) and Convolutional neural network (CNN) – LSTM hybrid models.

Both univariate (using only the historical price data) and multivariate (including P48 power demand, P48 wind production and day of the week exogenous variables) approaches are developed. The neural ODE is trained by solving an initial value problem (IVP) defined by a learnable neural network representing the derivative of the price time series. The optimization will be performed by the Dormand-Prince solver of order 5 and backpropagation via de adjoint sensitivity method.

Results show competitive performance by the neural ODE as, even when limited to CPU computations, it is the best performing model in the univariate approach. However, the Prophet model proves most effective overall in the multivariate case, suggesting that the strong seasonalities encountered in the price data are better captured through more probabilistic techniques in this case.