Application of RNN to the Wind power forecasting problem

Abstract

Este Proyecto busca generar predicciones de generación eólica en parques eólicos empleando para ello un modelo propio de Redes Neuronales Recurrentes con memoria a corto- largo plazo (LSTM RNN). Esta arquitectura permite gestionar más eficientemente los valores de la serie temporal a pasado, reuniendo además una serie de características computacionales adicionales, con lo que se busca obtener predicciones de generación eólica para el instante t mucho más certeras. Esta forma de gestión de los datos secuenciales disponibles permite retener información acerca del comportamiento de la serie y aplicar este conocimiento para la obtención de lo valores a futuro, siendo, por tanto, una diferencia de gran relevancia frente a modelos convencionales que fallan al obviar esta información en el entrenamiento del modelo. En complemento a esto, la retropropagación (Backpropagation) se emplea en este modelo con el fin de obtener una medida del parámetro de pérdida o loss y optimizarlo en la fase de entrenamiento.

Aunque existen alternativas para la predicción de series temporales, como pueden ser los Modelos Autorregresivos Integrado de Media Móvi (Autoregressive Integrated Moving Average, ARIMA) y Seasonal ARIMA, he querido centrarme en el estudio y uso de las Redes Neuronales Recurrentes con el fin de profundizar en su funcionamiento y analizar las ventajas que ofrecen frente a métodos más comúnmente empleados.

De acuerdo a la información aportada por la Agencia Internacional de Energías Renovables (IRENA), las tecnologías renovables han experimentado en los últimos años un crecimiento exponencial, al igual que su uso y demanda mantienen una tendencia creciente constante. Por ejemplo, en Estados Unidos han experimentado un crecimiento del 67% en el periodo 2000-2017 y han supuesto el 15% de la generación eléctrica, repartido principalmente entre generación hidroeléctrica (6,5%) y generación eólica (5,6%). La importancia de este crecimiento y las implicaciones del consumo de electricidad proveniente de fuentes renovables serán abordadas en este proyecto.

Para lograr el objetivo buscado, se trabajará con un set de datos real multivariable obtenido a partir de las lecturas proporcionadas por varios sensores ubicados en un mismo parque eólico. De cara a identificar las variables más relevantes, así como las correlaciones entre ellas, se llevará a cabo un análisis exploratorio previo tras lo cual se procede a entrenar el modelo con las variables seleccionadas, para lo cual se probarán diversas configuraciones y se analizarán los cambios en la salida en función de los cambios realizados. Finalmente, se propondrá un modelo concreto para el cual se definirán las capas empleadas, número de neuronas por capa, porcentaje de dropout, funciones de activación empleadas, etc., que nos permitan obtener la mejor predicción posible.

Tras la realización de este proyecto se concluye que el modelo empleado es útil para obtener una predicción más precisa y certera de la generación eólica en comparación con modelos tradicionales, si bien es imprescindible seleccionar correctamente las variables y parámetros de entrada adecuados, y en algunos casos encontrar variables exógenas que puedan influenciar a la generación eólica y añadirlas a los datos de entrada. Esto es así puesto que los modelos LSTM son uno de los pocos que son capaces de lidiar de forma efectiva con la información secuencial de las series temporales.

In this project, we will focus on the future predictions of the wind power generation in a wind farm using a special technique of neural network called LSTM-RNN which holds many extra features in the memory management of the past data for the prediction of power at the time t. Other classical methods lack this way of processing sequential data and loose see valuable information while training the model for the forecast. Backpropagation through time is employed in this kind of time-series to find the loss in training data and optimizes it. There are other possible solutions are available to solve this problem of forecasting which includes Autoregressive Integrated Moving Average (ARIMA) and Seasonal ARIMA are some common methods. We are going to see the advantage of using the Recurrent Neural Network Models and their working. The International Renewable Energy Agency (IRENA) says that the rise of renewable energy has increased a lot and their usage and demand is still increasing at a steady rate. It has increased to 67% in the united states from 2000 to 2017 and it has contributed up to 15% electricity generation which comprises of 6.5% from hydro and 5.6% from wind power. The importance of renewable energy specifically the wind power generation will be studied in the upcoming project. This project will cover the techniques for the prediction of wind power generation in a wind farm by taking into consideration includes real dataset with the comprehensive features that contributes to the wind generation. Some exploratory analysis of the dataset will be carried out to find the significant features and also the importance of the correlation between them to build a model for the prediction. Special attention will be paid to the different architectures of using RNN and LSTM to forecast the generation of wind power. The final model will be proposed with the definite set of layers, the number of neurons per layer, percentage of dropout, type of activation functions, etc… to find the prediction more accurately. The project will focus on the RNN-LSTM model over the other traditional classical models for this type of sequential large dataset for their memory capabilities that are discussed later. The three-dimensional input to this kind of Neural Network includes a new set of a feature called time steps that explains about the input at the time t. From the work of this study, the suggested solution is useful to predict the wind power generation with more accuracy and precision. A LSTM with the adequate inputs and parameters can able to train a model with high capabilities to predict the data with low error values compared to other traditional methods. Most of the time-series data that we get are sequential in nature and the algorithms that deal with this constraint is limited, LSTM RNN is one of them. There are many possibilities of forecasting the wind power generation using this model. The best set of parameters and the right picking of inputs decides the performance. Sometimes it is necessary to find other exogenous variables that may influence the wind power, including them in the input might add up some extra value.