Medium-term forecasting of electricity prices : a hybrid methodology based on fundamental and technical analysis

Abstract

Entre el creciente interés por la predicción a corto plazo y el equilibrio entre generación y demanda en tiempo real, y la preocupación por la adecuación de la capacidad de generación en el largo plazo, la tarea de planificación de la operación en el medio plazo sigue siendo un área de riesgo de negocio sustancial para los generadores de energía eléctrica. Esto es aún más relevante como resultado de la alta penetración de las tecnologías intermitentes y los cambios normativos y estructurales que se producen con tanta frecuencia en los mercados de energía. En este contexto, la previsión de precios eléctricos en el medio plazo, esto es de un mes a varios meses de antelación, juega un papel esencial para todos los agentes del mercado, ya que es fundamental para la compra de combustibles, la compraventa de la energía y la gestión de los beneficios obtenidos. Esta no es una tarea fácil, ya que los riesgos derivados de los efectos estacionales sobre la demanda y la oferta, la volatilidad de los precios de los combustibles, así como el comportamiento incierto de competidores en el mercado deben tenerse muy en cuenta. Todos estos factores combinados justifican la necesidad de disponer de pronósticos exactos de los precios eléctricos, que van más allá de las estimaciones puntuales para proporcionar al menos intervalos, si no la función de densidad completa, de las estimaciones de los riesgos de precio de mercado. Esta tesis tiene como objetivo desarrollar una nueva metodología para estimar de manera precisa y probabilística el precio horario de la electricidad en el medio plazo, teniendo en cuenta para ello la hibridación entre los dos enfoques tradicionales que se utilizan en los mercados financieros para la predicción de precios: fundamental y técnico. Inicialmente, se ha presentado una metodología basada en un modelo fundamental puro que incorpora simulación de Monte Carlo junto con técnicas de interpolación espacial y una nueva definición de los niveles de carga. En una primera etapa, este modelo fundamental, que nos permite hacer predicciones probabilísticas del precio de la electricidad sobre una base horaria y con tiempos de ejecución razonables, ha sido comparado por una parte con el enfoque tradicional fundamental que hace predicciones puntuales sobre valores medios de grupos de horas similares y por otro lado con otras técnicas econométricas utilizadas tradicionalmente en el corto plazo. A la vista de los resultados de este análisis, se ha podido demostrar que este nuevo enfoque ha mejorado considerablemente la capacidad de captar la dinámica de los precios de la electricidad con respecto a los enfoques tradicionales. Sin embargo, incluso un modelo tan detallado no ha sido capaz de capturar los momentos más altos de la distribución. Básicamente, esto se debe a que la formación de precios por lo general tiende a apartarse de los factores fundamentales y, en su lugar, los aspectos del comportamiento tales como la conducta especulativa o estratégica pasan a ser más relevantes. Además, la agrupación de horas en estados del sistema da como resultado un precio menos volátil. Como consecuencia de estas limitaciones observadas, en un paso posterior se amplía la investigación sobre métodos híbridos de predicción. Este tipo de modelos vincula los modelos de formación de precios fundamentales, los cuales utilizan técnicas de optimización para modelar el equilibrio del mercado, con la recalibración econométrica de los datos de las series temporales. Esta tesis es innovadora en su uso de técnicas econométricas no paramétricas tales como la regresión cuantílica para llevar a cabo la recalibración del modelo de equilibrio de mercado. Se muestra que los resultados probabilísticos del modelo fundamental añaden valor respecto a los valores esperados de las variables de entrada a las regresiones cuantílicas. Asimismo, se ha podido comprobar que si el modelo fundamental está bien especificado en lo relativo a la variación diaria, no es necesario llevar a cabo las regresiones por cuantiles para cada hora del día por separado. Este método híbrido es superior al modelo fundamental y a otras técnicas probabilísticas que se utilizan tradicionalmente en el corto plazo. Aunque la metodología híbrida no paramétrica ha demostrado sin lugar a dudas que es capaz de mejorar significativamente la predicción probabilística, todavía es posible realizar algunas progresos. Esto se debe principalmente al sesgo que se produce en las predicciones cuantílicas debido a la limitación impuesta para evitar el cruce entre los diferentes percentiles y a los problemas de escasez de datos observados en las colas. Por ello, se ha profundizado en la investigación sobre la propuesta de un marco híbrido que incorpore distribuciones flexibles de cuatro parámetros. Como se ha demostrado empíricamente, todas las funciones de densidad que se han utilizado capturan una amplia gama de formas de tal manera que los cuatro parámetros de distribución pueden cambiar en cada hora en función del valor de una serie de variables exógenas. A la vista de los resultados, es evidente que este marco híbrido paramétrico proporciona mejores predicciones probabilísticas que el resto de técnicas ya propuestas. Por otra parte, se han observado mejoras significativas al utilizar un marco híbrido de tres etapas que incorpora esquemas de combinación de las predicciones probabilísticas. El enfoque propuesto demuestra su eficacia en toda la gama completa de los percentiles de la función de distribución del precio, sobre todo en las colas. Parece que con el fin de mejorar aún más las capacidades predictivas, este trabajo podría ser complementado con otras técnicas que nos permitan estimar con más precisión la cola inferior de la función de densidad de precio. Por esta razón, en esta tesis también hemos presentado una metodología específica que ha demostrado ser muy útil para obtener de forma simultánea predicciones puntuales y probabilísticas horarias sobre la aparición de precios extremadamente bajos.In between the increased focus on short-term forecasting and real time balancing, and the emerging concerns about resource adequacy in the longer term, the task of medium-term planning remains an area of substantial business risk for power generators. This is even more relevant as a result of the high penetration of intermittent technologies and frequent regulatory and structural changes occurring in power markets. In this context, forecasting electricity prices in the medium term, from one month to several months ahead, plays an essential role for all market agents, as it crucial for operational scheduling, fuel purchasing, trading and profit management. This is not an easy task, since seasonal weather risks affecting both demand and supply, volatile fuel prices, as well as the uncertain behavior of competitors in the market must be carefully taken into account. All these factors combine to require accurate forecasts that go beyond point estimates to provide at least interval, if not full density, estimates of market price risks. This thesis is aimed at developing a new methodology to estimate in a precise and probabilistic manner the hourly price of electricity in the medium term, considering for this the hybridization between the two traditional approaches used in financial markets for the prediction of prices: fundamental and technical. Initially, a methodology based on a pure fundamental model which incorporates Monte Carlo simulation combined with spatial interpolation techniques and a new definition of load levels has been presented. In a first step, this pure fundamental model, which allows us to make probabilistic forecasts of the electricity price on an hourly basis with reasonable execution times, has been compared with the traditional fundamental approach that makes point forecasts over averages of group of hours and other well-recognized econometric techniques traditionally used in the short term. On account of this analysis, it has been demonstrated that this new proposed approach has significantly enhanced ability to capture the stylized facts of electricity prices with respect to the traditional approaches, even in the event of structural and regulatory changes taking place in the market. However, even such a detailed model has not been able to capture the higher moments of the distribution. Basically, this is because price formation usually tends to depart from fundamentals, and instead, behavioral aspects such as speculative or strategic conduct become more relevant. In addition, the grouping of hours into system states results in a less volatile price. As a consequence of these observed limitations, in a subsequent step, the research on hybrid forecasting methods, which link the detailed fundamental price formation models, using optimization techniques and market equilibrium considerations, with econometric re-calibration to the time series data is extended. This thesis is innovative in its use of non-parametric econometric techniques such as quantile regression to undertake the re-calibration of the market equilibrium model and provide accurate risk estimates. It is shown that probabilistic outputs from the fundamental model add value over expected value inputs to the quantile regressions and that if the fundamental model is itself well-specified to diurnal variation, then it is not necessary to undertake the quantile regressions separately for each hour of the day. This hybrid method outperforms the more conventional fundamental model and other probabilistic techniques traditionally used in the short term. Although the non-parametric hybrid methodology shows that the probabilistic forecasting certainly benefits of combining fundamental and technical analysis, it seems that some improvements could still be done. This is primarily due to the fact that the constraints imposed to avoid crossing between the different percentiles and the observed data scarcity problems in the tails lead to biased quantile predictions. As these issues should be overcome, further research has been conducted to propose a hybrid framework that incorporates flexible four-parameter distributions. As it has been empirically demonstrated, all the density functions that have been used can capture a wide range of shapes in such a way that the four distribution parameters can change in each hour with the value of several exogenous variables. On the basis of the results, it is clear that this parametric hybrid framework provides better probabilistic forecasts than the rest of techniques that had been already proposed. Moreover, significant improvements have been observed when a three-stage hybrid framework that also incorporates combination schemes for probabilistic forecasts is used. The proposed approach demonstrates its effectiveness across the full range of percentiles of the cumulative distribution function of the price, particularly in the tails. It seems that in order to enhance even more the predictive capabilities, this work could be complemented with other techniques that allow us to better capture the lower tail of the price density function. For this reason, we have also presented a specific methodology that has demonstrated to be very useful to simultaneously obtain punctual and probabilistic hourly predictions about the appearance of extremely low prices.