Aplicación de algoritmos de inteligencia artificial para el pilotaje de un robot motorizado

Abstract

El trabajo consiste en el desarrollo de un algoritmo que pilota un robot motorizado en una arena rectangular, con el objetivo de esquivar las paredes. El algoritmo es un algoritmo de Inteligencia Artificial dicho de “machine learning”, más específicamente del tipo “reinforcement learning”. Se trata de una versión del algoritmo clásico Q-Learning, pero usando una red neuronal, lo que se llama Deep Q-Learning. Algunas de las características de este algoritmo es que usa un “Replay Experience” en el que se utilizan las acciones pasadas para mejorar el aprendizaje. La recompensa que se ha utilizado es una la velocidad del robot proyectada sobre la dirección perpendicular al eje de las ruedas, con penalización en caso de parada o de movimiento hacia atrás. El algoritmo usa como entrada sensorial la imagen captada por una cámara situada en el robot. Esto implica que aprende solamente a partir de lo que “ve” el robot. El robot puede realizar solamente cinco acciones: adelante, adelante derecha, adelante izquierda, atrás derecha y atrás izquierda. A partir de estos datos, el robot entrena su red neuronal para aprender un comportamiento en el que va recto hacia delante hasta que ve una pared, girando para evitarla. Se comenzó el proyecto usando un simulador para optimizar una serie de hiperparámetros, y se realizó un test final con un robot real.

The project consists in the development of an algorithm that pilots a motorized robot in a rectangular arena, with the objective of avoiding the walls. The algorithm is an algorithm of Artificial Intelligence said of "machine learning", more specifically of the "reinforcement learning" type. It is a version of the classic Q-Learning algorithm, but using a neural network, which is called Deep Q-Learning. Some of the characteristics of this algorithm is that it uses a "Replay Experience" in which past actions are used to improve learning. The reward that has been used is the speed of the robot projected on the direction perpendicular to the wheels' axis, with a penalty in case of stop or backward movement. The algorithm uses as sensory input the image captured by a camera located in the robot. This implies that he learns only from what the robot "sees". The robot can perform only five actions: forward, forward right, forward left, back right and back left. From these data, the robot trains its neural network to learn a behavior in which it goes straight ahead until it sees a wall, turning to avoid it. The project was started using a simulator to optimize a series of hyperparameters, and a final test was carried out with a real robot.