Modelado de un entorno virtual para el entrenamiento de algoritmos de aprendizaje por refuerzo profundo con activos industriales

Abstract

Este trabajo presenta la migración del brazo robótico industrial ABB IRB120 desde el entorno de simulación MuJoCo a Unity, con el objetivo de explorar nuevas alternativas en el entrenamiento de agentes de Aprendizaje por Refuerzo Profundo (Deep Reinforcement Learning, DRL). La investigación parte de la necesidad de contar con entornos de simulación que no solo representen de manera fiel la dinámica del robot, sino que también resulten flexibles y accesibles para implementar algoritmos avanzados de aprendizaje. En este contexto, Unity, junto con el paquete ML-Agents, ofrece ventajas frente a MuJoCo en términos de visualización, personalización de escenarios y compatibilidad con Python para el entrenamiento multimodal.

El proyecto aborda la conversión geométrica y dinámica del modelo, partiendo de los archivos XML y mallas STL de MuJoCo, para su reconstrucción en Unity. Asimismo, se implementa un flujo de comunicación con Python que permite recopilar datos en tiempo real y definir un entorno de entrenamiento robusto, incorporando recompensas, episodios controlados y condiciones iniciales variables. Tras el proceso de migración y entrenamiento, los resultados muestran que el agente alcanza un 78 % de éxito en la tarea planteada y reduce la distancia media al objetivo a 0.049 m. Estos resultados validan la viabilidad de Unity como plataforma para el entrenamiento de robots industriales mediante DRL, abriendo la puerta a simulaciones más realistas y flexibles en aplicaciones de automatización.This work presents the migration of the ABB IRB120 industrial robotic arm from the MuJoCo simulation environment to Unity, with the aim of exploring new alternatives for training Deep Reinforcement Learning (DRL) agents. The research stems from the need for simulation environments that not only faithfully represent the robot's dynamics but are also flexible and accessible for implementing advanced learning algorithms. In this context, Unity, together with the ML-Agents package, offers advantages over MuJoCo in terms of visualization, scenario customization, and Python compatibility for multimodal training.

The project addresses the geometric and dynamic conversion of the model, starting from MuJoCo XML files and STL meshes, for reconstruction in Unity. A communication flow with Python is also implemented to collect real-time data and define a robust training environment, incorporating rewards, controlled episodes, and variable initial conditions. Following the migration and training process, the results show that the agent achieves a 78% success rate in the task at hand and reduces the average distance to the target to 0.049 m. These results validate the viability of Unity as a platform for training industrial robots using DRL, opening the door to more realistic and flexible simulations in automation applications.