Aprendizaje por refuerzo e IA generativa para la gestión de la demanda energética

Abstract

Se explora el uso de aprendizaje por refuerzo (RL) e IA generativa como alternativa a la optimización clásica en la gestión de la demanda energética, centrándose en la carga inteligente de vehículos eléctricos (EV). Se comparan resultados frente a un modelo de programación entera mixta (MIP), considerando restricciones reales y perfiles sintéticos generados con Load Profile Generator (LPG), que permiten simular tanto la demanda doméstica como la producción fotovoltaica residencial.

El objetivo es diseñar, entrenar y evaluar una herramienta de IA para gestionar de forma eficiente la carga de EVs, cumpliendo restricciones técnicas y maximizando la eficiencia económica. Los datos sintéticos alimentan tanto la optimización clásica como las redes neuronales utilizadas con RL.

El modelo clásico, basado en programación lineal, ofrece soluciones óptimas en términos de coste y eficiencia, respetando los límites técnicos y las preferencias de los usuarios. El modelo RL, aunque subóptimo, demuestra un comportamiento adaptativo y flexible, capaz de aprender del optimizador clásico y ajustarse a condiciones ambientales cambiantes. Los experimentos con distintos escenarios de demanda y generación muestran que el modelo clásico minimiza el coste energético y cumple estrictamente las restricciones, mientras que el RL explora estrategias alternativas y responde a eventos inesperados, como cambios bruscos en la demanda o en la disponibilidad de energía renovable.

Ambos enfoques tienen sus pros y sus contras: el modelo clásico es eficiente y preciso, mientras que el RL es adaptable y aprende en situaciones nuevas. Combinarlos podría crear un sistema híbrido que aproveche las fortalezas de ambos, mejorando la gestión de la carga de EVs y la integración de energías renovables.

Las futuras investigaciones podrían extender el enfoque a flotas de vehículos, incorporar precios dinámicos de la energía o integrarse con sistemas de almacenamiento doméstico. Este trabajo contribuye a soluciones inteligentes para la transición energética y la movilidad sostenible.

This work explores Reinforcement Learning (RL) and Generative AI as alternatives to classical optimization in energy demand management, specifically smart electric vehicle (EV) charging. Results are compared against a Mixed-Integer Programming (MIP) model considering realistic constraints and synthetic profiles generated with Load Profile Generator (LPG), simulating household demand and residential photovoltaic production.

The objective is to design, train, and evaluate an AI tool for efficient EV charging satisfying technical constraints and maximizing economic efficiency. Synthetic data feeds both the classical optimization model (Min Cost Flow problem) and the neural networks in RL.

The classical model provides optimal solutions respecting technical limits and user preferences. The RL model, though suboptimal, adapts to changing environmental conditions by learning from the classical optimizer.

Experiments under various demand and generation scenarios show the classical model ensures energy cost minimization and strict constraint satisfaction. The RL approach explores alternative strategies and responds to unexpected events like sudden demand changes or renewable energy availability.

Both approaches have advantages and limitations. The classical model is efficient and precise, while RL is adaptable and learns in new situations. Combining them could create a hybrid system that improves EV charging management and integrates renewable energy.

Future research directions include extending the approach to vehicle fleets, incorporating dynamic electricity pricing, and integrating with home energy storage systems. This work advances intelligent solutions for the energy transition and sustainable mobility.