Cluster analysis of electricity and gas consumption profiles in the residential sector of the U.S.A

Abstract

The aim of this project is to study how a particular combination of cluster analysis techniques can work when it comes to analyse energy-related sets of data and obtain coherent archetypal profiles. Improving energy efficiency and management is one of the most important challenges the electrical sector faces and is trying to tackle in order to achieve stable and sustainable power transmission systems. Also, in the context of deregulated energy markets, a correct analysis and interpretation of information is crucial to address supply and demand management. Bearing this background in mind, periodical load data from the residential sector of several states the U.S.A are used as a case study. The state of the art basically regards the development and usefulness of several clustering techniques, first in data mining processes and then in more specific ones related to the energy sector. For instance, load forecasting and load profiling (Fig. 2) are permanently used methods in the electrical sector and their improvement through clustering techniques has been well investigated. Other uses in this sector as well as residential-related studies must also be mentioned. Also, smart grids, the actual interest that has been put in them, as well as researches that involve neural networks and self-organized maps are the most recent aspects must also be contemplated in this context. The objectives of the project are to discover archetypal consumption profiles and patterns from data through clustering techniques and to study the relationship between electricity and gas consumption. Also, the ultimate objective of the project is to come up with ideas for innovative decision-making processes based on the different types of profiles previously established. This may allow the establishment of policies that, once implemented by means of instructions to customers, would improve and facilitate a more optimal operation of the system. The project has been developed using MATLAB as main tool. Sources of information were some public datasets from the American Energy Information Administration including typical households use of electrical and gas energies across the whole Nation. There is usually one set of data for several cities within each state that contains consumption values for 8760 hours of a whole year (Fig. 3). Basically, for each case study, after obtaining the preliminary information regarding the state, relevant data sets are organized and put into the correct format for the further application of algorithms. Then an inter-city analysis, comparing cities between themselves within the state, and an intra-city analysis, that individually studies each of them are performed. This is done for electricity as well as gas consumption and once results are analysed and compared archetypal profiles and time logical models are established for the state. The last step consists of conclusions and decision makingprocesses orientated to consumers. A combination of two particular clustering techniques was used for all the data analysis of the project. The first technique is the hierarchical clustering while Self- Organised Maps (SOMs) constitute the second one. Case Studies develop and expand how the analysis was performed on energy data sets within four different states of the U.S.A. Concretely; these were Illinois, Indiana, Florida and California. Each state constitutes a case study where after a brief introduction and overview of the available data, hierarchical clustering and selforganised maps were applied, for both electricity and gas consumption analysis. Hierarchical clustering (Fig. 4) was first used to perform the inter-city analysis where its resulting dendrogram gave an insight of similar cities within the state and if it implied some kind of relation with their geographical location. Then it was used for the intra-city analysis, for each city of the state, individually. There, the calculation of a cophenetic correlation coefficient matrix allowed to see which days of the week had a similar behaviour and how reliable was the information obtained for each day. Also, another dendrogram allowed analysing and establishing weekly archetypal profiles. Self-Organized maps (SOMs) were used to check or complement results obtained with hierarchical clustering as it gives a conjunct graphic view of inter- and intra-city analysis of the case study. Three plots were used to illustrate results (Fig. 5). The hits plot, that shows the distribution of the input information within each output neuron, allows to evaluate the accuracy of the SOM: the better the distribution, the more accurate and reliable the SOM. The bar graph shows relative information between all input cities within each output neuron and the weight plot represents the evolution of each city from the first to the last neuron but this time with an absolute energetic scale. To conclude, all case studies are finally compared and contrasted thanks to the selection of relevant results and analysis obtained. This has allowed giving a general evaluation of the whole project. Final conclusions establish the validity of the methodology and how interesting its application can be when it comes to obtain a good approximation of the overall behaviour of customary households of various cities within states of the U.S.A. This result is useful in order to identify where energy is efficiently used, give an idea of which measures that could help grids management and operation could be implemented. Finally, this project may, later on, be useful to expand the comparative basis that was started with other states of the U.S.A, research the interaction between electricity and gas consumption behaviours, or see where and how smart grids could start to be installed.

Este proyecto pretende estudiar cómo una combinación particular de técnicas de clustering pueden funcionar a la hora de analizar bases de datos de consumo energético y obtener perfiles patrones coherentes. Mejorar la gestión de la energía así cómo alcanzar ciertos niveles de eficiencia energética es uno de los retos más importantes a los que se esta enfrentando el sector eléctrico en vistas de conseguir sistemas de transmisión de energía estables y sostenibles. Además, en el contexto de mercados energéticos desregulados, un buen análisis de datos y una correcta interpretación de resultados es esencial para encargarse tanto de la gestión de la oferta cómo de la satisfacción de la demanda en este sector. Teniendo en cuenta este contexto, datos periódicos de carga energética del sector residencial de varios estados de EE.UU han sido utilizados como casos de estudio. El estado del arte, básicamente concierne el desarrollo y la utilidad de distintas técnicas de clustering : primero en procesos de minería de datos y luego en contextos más concretos, relacionados con el sector energético. Por ejemplo, la predicción de cargas y el establecimiento de perfiles de carga (Fig. 2) se usan constantemente en el sector eléctrico y muchos estudios investigaron su mejora gracias a la utilización de técnicas de clustering. Estas técnicas se incluyeron en muchas más aplicaciones de este sector, así como estudios relacionados con la parte residencial, lo cual también debe de ser mencionados. Además, la Redes Eléctricas Inteligentes, el reciente y creciente interés que se ha puesto en ellas, así cómo investigaciones que relacionadas con redes neuronales y mapas auto-organizados son los aspectos más recientes que se contemplan. Los objetivos del proyecto persiguen descubrir si existen perfiles patrones y características de consumo a partir de datos y mediante técnicas de clustering. Pero, el objetivo último del proyecto es conseguir ideas de procesos de toma de decisiones innovadores en base a los distintos perfiles previamente definidos. Esto permitiría elaborar unas políticas de consumo, que, una vez implementadas por medio de instrucciones a consumidores, mejorarían y facilitarían una operación más optima del sistema. El proyecto se llevó a cabo con MATLAB cómo principal herramienta. Las fuentes de información son conjuntos de datos públicos de la “Energy Information Administration” americana que incluyen usos típicos de electricidad y gas de hogares en todo el país. Normalmente se dispone de una colección de datos para varias en cada estado, que contiene valores de consumo para las 8760 horas de un año entero (Fig. 3). Para cada caso de estudio, después de haber obtenido información preliminar sobre el estado, los datos relevantes se ordenan y se ponen en el formato correcto para que se les pueda aplicar los algoritmos necesarios. A continuación, se realizan un análisis inter-ciudad, que compara todas las ciudades de un estado entre ellas, y un análisis intra-ciudad, que estudia cada una de ellas individualmente. Este proceso se aplica tanto a consumo de electricidad cómo de gas. Una vez los resultados analizados y comparados, perfiles patrones y modelos lógicos temporales se establecen para cada estado. El último paso consiste en la deducción de conclusiones and procesos de toma de decisiones orientados a clientes. La combinación de dos técnicas de clustering en particular se aplicó para el análisis de todos los datos del proyecto. La primera técnica es el clustering jerárquico mientras que los mapas auto-organizados constituyen la segunda. Los casos de estudio exponen y detallan cómo se realizo el análisis sobre la colección de datos de consumo energético en cuatro diferentes estados de EE.UU. Precisamente, estos fueron Illinois, Indiana, Florida y California. Cada estado constituye, individualmente, un caso de estudio. En cada uno, después de una breve introducción y un repaso de los datos disponibles, se aplica el clustering jerárquico y los mapas auto-organizados, para analizar tanto el consumo de electricidad cómo de gas El clustering jerárquico (Fig. 4) se usa primero para el análisis inter-ciudad, donde el dendrograma resultante ofrece una percepción de las ciudades similares entre si dentro del estado estudiado y de si hay algún tipo de influencia por su localización geográfica. En segundo lugar, el clustering jerárquico se usa para el análisis intra-ciudad para cada ciudad del estado, de forma individual. Ahí, el cálculo de una matriz de coeficientes de correlación cophenetica permite ver qué días de la semana tienen un comportamiento similar y el nivel de fiabilidad de la información obtenida para cada día. Además, otro dendrograma permite establecer y analizar perfiles patrones semanales. Los mapas auto-organizados se usan para comprobar y complementar los resultados obtenidos con el clustering jerárquico, ya que permiten visualizar de forma gráfica y conjunta el análisis tanto inter- cómo intra-ciudad de cada caso de estudio. Tres gráficas se utilizan para mostrar los resultados obtenidos (Fig. 5). El “hits plot”, que muestra como se distribuye la información de entrada dentro de cada neurona de salida, permite evaluar la veracidad del mapa. En cuanto más homogénea sea distribución, más fiable y exacto es el mapa auto-organizado. El “bar graph” muestra la información de todas las ciudades de entrada en cada neurona de salida de forma relativa y el “weight plot” representa la evolucion de cada ciudad desde la primera hasta la última neurona pero esta vez con escala energética absoluta. Para concluir, todos los casos de estudio han sido comparados y contrastados después de haber seleccionado todos los resultados y análisis relevantes que se habían obtenido. Esto ha permitido realizar una evaluación general de todo el proyecto. Las conclusiones finales establecen que la metodología de trabajo es válida y lo interesante que resulta su aplicación a la hora de obtener una buena aproximación of del comportamiento de casas típicas en varias ciudades de distintos estados de EE.UU. Este resultado es de gran utilidad para identificar puntos o regiones donde la energía se usa de forma eficiente, e incluso dar una idea de qué medidas entre las plausibles para mejorar la operación de la red de consumo podrían implementarse. Finalmente, este proyecto podría, en un futuro, ser de utilidad para la elaboración de una base comparativa más amplia de la que se consiguió, estudiando otros estados de EE.UU. También serviría para investigar más en profundidad la interacción entre los consumos de electricidad y de gas, o incluso ver donde y cómo se podrían empezar a instalar redes inteligentes.