Training a Virtual Reinforcement Learning Agent for Obstacle Avoidance and Transferring It to a Real Mobile Robot

Abstract

En un mundo en el que los drones son cada vez más habituales en nuestros cielos y las carreteras están cada vez más transitadas por vehículos autónomos, la búsqueda de eficiencia, seguridad e innovación ocupa un lugar central. La creciente demanda de robots móviles autónomos (AMR) en sectores tan diversos como la automatización industrial, la sanidad y el ejército ha impulsado el desarrollo de algoritmos inteligentes que permitan a estos sistemas navegar y ejecutar tareas en entornos variables sin intervención humana. El aprendizaje por refuerzo puede servir de base para que estos sistemas atraviesen entornos complejos, reconozcan obstáculos, detecten anomalías y se adapten en tiempo real a situaciones variables. Sin embargo, el camino hacia la creación de estos sistemas está lleno de desafíos, principalmente debido a las complejidades y los riesgos de experimentar en entornos reales. Aquí es donde se hace patente el valor de la simulación a la realidad (sim-to-real). Desarrollar, probar y perfeccionar algoritmos autónomos en entornos simulados presenta numerosas ventajas, como la aceleración del desarrollo, la rentabilidad y la seguridad. Esta tesis pretende explorar la aplicación del aprendizaje por refuerzo al desarrollo de comportamientos de navegación autónoma en un vehículo diferencial y un dron, abordando la brecha simulación-realidad y proporcionando una visión de los retos y complejidades de la navegación en el mundo real.

OBJETIVOS DEL PROYECTO Desarrollo de comportamientos autónomos: Diseñar y desarrollar comportamientos de navegación autónoma tanto para un vehículo diferencial como para un dron utilizando el aprendizaje por refuerzo. Transición de la simulación a la realidad: Validar los modelos entrenados en un entorno simulado y, a continuación, realizar con éxito la transición y adaptarlos para su despliegue en el mundo real. Integración de tecnologías: Integración perfecta de tecnologías como Unity, Simulink, ROS2, Docker y marcos de aprendizaje por refuerzo para lograr un sistema holístico que pueda funcionar tanto en entornos simulados como en el mundo real.

In a world with drones becoming a common sight in our skies and roads increasingly shared with autonomous vehicles, the quest for efficiency, safety, and innovation takes center stage. The increasing demand for autonomous mobile robots (AMRs) across diverse sectors such as industrial automation, healthcare, and military has pushed the development of intelligent algorithms that enable these systems to navigate and execute tasks in varying environments without human intervention. Reinforcement learning can provide the backbone for these systems to traverse complex environments, recognize obstacles, detect anomalies, and adapt in real-time to varying situations. However, the path to creating these systems is filled with challenges, primarily due to the complexities and risks of experimenting in real-world environments. This is where the value of simulation to reality (sim-to-real) becomes pronounced. Developing, testing, and refining autonomous algorithms in simulated environments presents numerous advantages, including accelerated development, cost efficiency, and safety. This thesis aims to explore the application of reinforcement learning to the development of autonomous navigation behaviors in a differential vehicle and a drone, addressing the simulation-to-real gap and providing insights into the challenges and complexities of real-world navigation.

PROJECT OBJECTIVES Development of Autonomous Behaviors: To design and develop autonomous navigation behaviors for both a differential vehicle and a drone using reinforcement learning. Simulation-to-Real Transition: To validate the trained models in a simulated environment and then successfully transition and adapt them for real-world deployment. Integration of Technologies: Seamless integration of technologies such as Unity, Simulink, ROS2, Docker, and reinforcement learning frameworks to achieve a holistic system that can function in both simulated and real-world settings.