Desarrollo y Entrenamiento de un Robot Bípedo con Técnicas de Aprendizaje por Refuerzo

Abstract

Este trabajo presenta el diseño y construcción de un robot bípedo de bajo coste, entrenado mediante aprendizaje por refuerzo profundo. Mediante una metodología basada en simulación utilizando MuJoCo y PyTorch se compararon algoritmos para control continuo: DDPG, D4PG, SAC y MPO. Se diseñó la función de recompensa, logrando una locomoción estable y natural. El modelo final muestra resultados prometedores y establece una plataforma para futuras transferencias a la realidad. Este proyecto se centró en el diseño, los algoritmos y los resultados clave de la creación de un robot bípedo, con el objetivo de democratizar la investigación en robótica humanoide.

This work presents a custom built and designed low-cost biped robot trained using deep reinforcement learning. A simulation-based methodology based on MuJoCo and Pytorch was developed to test and compare continuous deep reinforcement learning algorithms: DDPG, D4PG, SAC, and MPO. Special emphasis was placed on reward function engineering, achieving stable and natural locomotion. The final model shows promising results and establishes a platform for future sim-to-real transfer. This project was aimed towards the design, algorithms, and key outcomes of creating a biped robot, aiming to democratize humanoid robot research by simplifying the design and implementation process with a low-cost platform.