Modeling and optimizing isolated microgrids using Reinforcement Learning techniques

Abstract

Las microrredes tienen un papel clave en la transición energética ya que mejoran la resiliencia de la red eléctrica, facilitan el acceso a energía eléctrica en países en desarrollo, y atraen la instalación de generación renovable. Las microrredes combinan y coordinan generación distribuida para suplir la demanda local de forma eficiente, operando incluso de manera independiente. Sin embargo, este tipo de tecnologías trae consigo ciertos retos tecnológicos, siendo crítico un buen diseño del controlador, del inglés, Energy Management System (EMS).

Los EMS convencionales se basan en modelos de optimización de implementación compleja, ya que exigen predicciones precisas, y una continua calibración, algo poco práctico para las microrredes, optando por utilizar modelos simplificados basados en reglas, con resultados subóptimos.

La Inteligencia Artificial, y en particular, las técnicas de Aprendizaje por Refuerzo Profundo, en inglés, Deep Reinforcement Learning (DRL) son una alternativa prometedora. Esta tesis investiga estas técnicas para un mejor diseño del EMS en una microrred. En particular, estudia el uso de dos técnicas, la Deep Q-network (DQN) y el Twin-Delayed Deep Deterministic Policy Gradient (TD3), modelando la microrred como un Proceso de Decisión de Markov, en inglés, Markov Decision Process (MDP). De esta manera, un agente de DRL puede aprender a gestionar la energía de forma más eficiente, autónoma, y sin depender de predicciones.

Se presentan tres estudios. El Capítulo 3 demuestra que el EMS, basado en la DQN, puede efectivamente hacer más eficiente la gestión de la energía en una microrred residencial, con resultados muy prometedores. El Capítulo 4 extiende el modelo al TD3, añadiendo un control más preciso. Además, estas técnicas se aplican a una microrred más grande, basada en la microrred CIGRE. El Capítulo 5 aprovecha el aprendizaje profundo, capaz de captar no linealidades, para estudiar el comportamiento del TD3 al incorporar en el modelado una función de pérdidas energéticas no lineal en la batería, con excelentes resultados.

En resumen, esta tesis muestra que un EMS para microrredes basado en DRL puede añadir escalabilidad, adaptabilidad, y mejor eficiencia, comparado con otras técnicas. En trabajos futuros se analizará una coordinación multi-agente (multi-microrredes), respuesta a la demanda, y participación en mercados eléctricos en una microrred conectada a la red eléctrica.

Microgrids play a key role in the energy transition by improving grid resilience, enabling electrification in remote areas, and increasing renewable energy integration. By clustering distributed energy resources near loads, microgrids can operate independently or cooperatively, enhancing reliability during grid disturbances. However, their heavy reliance on intermittent renewables introduces operational challenges, making energy storage and effective coordination essential. Conventional Energy Management Systems (EMS) rely on complex optimization models that require accurate forecasts and frequent recalibration, which can be impractical for small-scale microgrids. As a result, simpler rule-based approaches are often used, despite their limited performance. Recent advances in Artificial Intelligence, particularly Deep Reinforcement Learning (DRL), offer a promising alternative. This thesis investigates DRL-based EMS design using two algorithms: Deep Q-Network (DQN) and Twin-Delayed Deep Deterministic Policy Gradient (TD3). By modeling EMS operation as a sequential decision-making problem, DRL agents learn control policies directly from interaction with the microgrid, reducing dependence on forecasting and manual tuning. Three studies are presented. Chapter 3 demonstrates that a DQN-based EMS can effectively manage an isolated microgrid using historical data, achieving near-optimal performance compared to an idealized optimization benchmark. Chapter 4 extends the approach to continuous control using TD3, yielding improved performance and precision in both small-scale and benchmark microgrids. Chapter 5 incorporates a nonlinear battery loss model, showing that TD3 can exploit more realistic dynamics to reduce battery losses and operational costs without significant computational burden. Overall, the dissertation shows that DRL-based EMS are adaptable, scalable, and well-suited for real-world microgrid operation. By avoiding heavy optimization and forecasting requirements, DRL enables more robust and autonomous energy management. Future work includes demand response, multi-agent coordination, and market participation for grid-connected microgrids.