Probabilistic Forecasting of Functional Time Series : Application to Scenario-Generation of Residual Demand Curves in Electricity Markets

Abstract

En las últimas dos décadas el registro y análisis de datos de alta frecuencia ha cobrado una gran importancia dentro del ámbito de la Estadística. Muchas de estas observaciones provienen de procesos continuos que pueden ser tratados como funciones, por lo que comúnmente se les conoce como datos funcionales. Los métodos estadísticos desarrollados para analizar este tipo de datos se engloban dentro del ámbito del Análisis de Datos Funcionales (FDA, por sus siglas en inglés), un campo de la Estadística que busca desarrollar técnicas que permitan analizar y modelar conjuntos de observaciones funcionales. Un tipo de datos funcionales muy importante por sus numerosas aplicaciones son las series temporales funcionales (STF), secuencias temporales de observaciones donde cada elemento de la serie es una función continua definida en un intervalo cerrado. Las series temporales funcionales aparecen con frecuencia en el ámbito de la investigación médica, las finanzas, la ecología y la energía, entre otras. El objetivo principal de esta tesis es el estudio de las series temporales funcionales que aparecen en distintas aplicaciones del sector de los mercados eléctricos, como pueden ser las Curvas de Demanda Residual. Estas curvas son funciones que determinan el precio de casación de la subasta en función de la cantidad de energía que los agentes están dispuestos a comprar y vender. Un agente que sea capaz de tener estimaciones precisas de estas curvas podrá optimizar su propia estrategia de oferta, ya que las curvas contienen información relevante sobre las estrategias de sus competidores. Sin embargo, existe una gran dificultad en obtener estimaciones robustas de las Curvas de Demanda Residual, debido a que suelen presentar una estructura dinámica compleja influenciada por numerosos factores externos. Uno de los modelos que han obtenido mejores resultados al modelar este tipo de series funcionales ha sido el modelo SARMAHX, un modelo que generaliza el modelo ARMAX clásico al ámbito funcional. El objetivo principal de esta tesis es el desarrollo de un modelo probabilista funcional que permita generar escenarios funcionales coherentes de una serie temporal funcional. Estas predicciones probabilistas se obtienen caracterizando la distribución de los residuos de un modelo SARMAHX ajustado a la serie funcional. Para ello, se ha desarrollado una metodología de predicción probabilista para series temporales funcionales que requiere de un nuevo método de identificación y diagnóstico del modelo SARMAHX. Una vez que se ha ajustado el modelo SARMAHX se usan técnicas no-paramétricas para caracterizar la distribución condicional de los residuos del modelo, lo que permite generar escenarios realistas de la serie temporal funcional. La metodología de predicción probabilista propuesta se ha aplicado con éxito a la predicción a corto plazo de Curvas de Demanda Residual en varios mercados de electricidad, obteniendo mejores resultados que el resto de modelos probabilistas funcionales de referencia.Due to recent technological advances in science and computing, the collection and analysis of high-dimensional data has become a relevant topic in the field of applied statistics. Many of these observations arise from continuous processes observed over time, which can be naturally expressed as functions. Thus, the name functional data is commonly given to such observations. Statistical methodologies that deal with the analysis of functional data belong to the Functional Data Analysis (FDA) framework, a field of research devoted to the exploration and modelization of these data. If these functional data are collected sequentially over time, it is natural to expect a time dependence between functional observations. The term Functional Time Series (FTS) is often used to refer to these processes. These series of functional observations appear frequently in numerous fields, such as medical research, finance and ecology. Nevertheless, this thesis is concerned with the applications in electricity markets that involve FTS. Particularly, the bidding information of market auctions can be used to define Residual Demand Curves (RDC), functions that model the market-clearing price as a function of the energy that agents are willing to trade. Having accurate estimations of the hourly series of RDCs is of utmost importance for market agents, as it would provide them with an accurate description of the bidding strategy of its competitors. RDCs often exhibit complex dynamics, as the bidding behaviour of the market agents is often influenced by external factors and often exhibits a strong seasonal dependence. The SARMAHX model is a generalization of the scalar ARMAX model to the functional data framework, which has proven to be an adequate model to obtain accurate short-term forecasts of FTS that appear in electricity markets. The work described in this thesis is aimed at developing a novel functional probabilistic model that is able to generate coherent scenarios of functional time series. Probabilistic forecasts of the series are obtained by quantifying the uncertainty associated with the forecasts of a fitted SARMAHX model. Hence, a forecasting methodology for functional time series has been developed, which involves the identification and diagnosis of the SARMAHX model fitted to the series. Once deterministic forecasts of the series have been obtained, the conditional distribution of the residuals is characterized by the proposed probabilistic model, which then is used to generate future scenarios of the curves. The proposed probabilistic forecasting methodology has been successfully applied to the short-term estimation of the series of hourly Residual Demand Curves in different electricity markets, outperforming other reference models commonly found in the functional data literature.